Hive
老菜啦
这个作者很懒,什么都没留下…
展开
-
HBase与Hive的对比
1.Hive(1) 数据仓库Hive 的本质其实就相当于将 HDFS 中已经存储的文件在 Mysql 中做了一个双射关系,以方便使用 HQL 去管理查询。(2) 用于数据分析、清洗Hive 适用于离线的数据分析和清洗,延迟较高。(3) 基于 HDFS、MapReduceHive 存储的数据依旧在 DataNode 上,编写的 HQL 语句终将是转换为 MapReduce 代码执行。2...原创 2020-03-24 17:20:50 · 149 阅读 · 0 评论 -
Hive调优
1.Fetch抓取Fetch抓取是指,Hive中对某些情况的查询可以不必使用MapReduce计算。例如:SELECT * FROM employees;在这种情况下,Hive可以简单地读取employee对应的存储目录下的文件,然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认是more,老版本hive...原创 2020-03-12 19:55:35 · 182 阅读 · 0 评论 -
Hive常用配置
(1)设置reduce个数set mapreduce.job.reduces(2)导入数据到分桶表配置hive (default)> set hive.enforce.bucketing=true;hive (default)> set mapreduce.job.reduces=-1(3)开启hive中间传输数据压缩功能hive (default)>set hi...原创 2020-03-11 21:26:01 · 367 阅读 · 0 评论 -
Hive自定义函数(结合Idea)
一 自定义UDF函数1)创建一个 Maven 工程 Hive2)导入依赖<dependencies><!--https://mvnrepository.com/artifact/org.apache.hive/hive-exec--> <dependency> <groupId>org.apache.hive</groupId&g...原创 2020-03-11 09:40:17 · 505 阅读 · 0 评论 -
Hive压缩
1.开启Map输入阶段压缩开启 map 输出阶段压缩可以减少 job 中 map 和 Reduce task 间数据传输量。具体配置如下(1)开启 hive 中间传输数据压缩功能hive (default)>set hive.exec.compress.intermediate=true;(2)开启 mapreduce 中 map 输出压缩功能hive (default)>...原创 2020-03-11 09:33:28 · 98 阅读 · 0 评论 -
Hive常用操作及函数
1.数据库基本操作指令含义show databases显示数据库desc database [extended] 数据库名显示数据库【详细】信息alter database 数据库名 set dbproperties()修改数据库的描述信息drop database 数据库名删除空数据库drop database 数据库名 casdece强制...原创 2020-03-07 23:39:08 · 206 阅读 · 0 评论 -
Hive数据类型
1.基本数据类型Hive数据类型Java数据类型长度例子TINYINTbyte1byte有符号整数20SMALINTshort2byte有符号整数20INTint4byte有符号整数20BIGINTlong8byte有符号整数20BOOLEANboolean布尔类型,true或者falseTRUE FALSEF...转载 2020-03-05 16:03:40 · 104 阅读 · 0 评论 -
Hive安装配置
1.Hive安装部署1.Hive安装及配置(1)把apache-hive-1.2.1-bin.tar.gz上传到linux的/opt/software目录下(2)解压apache-hive-1.2.1-bin.tar.gz到/opt/module/目录下面[hadoop@hadoop102 software]$ tar -zxvf apache-hive-1.2.1-bin.tar.gz ...原创 2020-03-05 15:57:53 · 876 阅读 · 0 评论