![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
Chelseady
这个作者很懒,什么都没留下…
展开
-
hive调优的方法(总结实战篇)
说明:本文参考尚硅谷hive教材1.Fetch 抓取Fetch 抓取是指, Hive 中对某些情况的查询可以不必使用 MapReduce 计算。例如:SELECT * FROM employees;在这种情况下, Hive 可以简单地读取 employee 对应的存储目录下的文件,然后输出查询结果到控制台。在 hive-default.xml.template 文件中 hive.fetch...原创 2020-03-08 01:21:33 · 1591 阅读 · 0 评论 -
hive小知识(牢记)
1.EXTERNAL 关键字可以让用户创建一个外部表,在建表的同时指定一个指向实际数据的路径(LOCATION), Hive 创建内部表时,会将数据移动到数据仓库指向的路径;若创建外部表,仅记录数据所在的路径,不对数据的位置做任何改变。在删除表的时候,内部表的元数据和数据会被一起删除,而外部表只删除元数据,不删除数据。2.STORED AS 指定存储文件类型常用的存储文件类型: SEQUENC...原创 2020-03-08 00:20:28 · 327 阅读 · 0 评论 -
hive:空key转换
有时虽然某个 key 为空对应的数据很多,但是相应的数据不是异常数据,必须要包含在join 的结果中,此时我们可以表 a 中 key 为空的字段赋一个随机的值,使得数据随机均匀地分不到不同的 reducer 上。实例:不随机分布空 null 值:(1)设置 5 个 reduce 个数set mapreduce.job.reduces = 5;(2) JOIN 两张表insert...原创 2020-02-11 22:25:57 · 698 阅读 · 1 评论 -
hive:常见错误和解决方案
1.连接不上 mysql 数据库(1)导错驱动包,应该把 mysql-connector-java-5.1.27-bin.jar 导入/opt/module/hive/lib 的不是这个包。错把 mysql-connector-java-5.1.27.tar.gz 导入 hive/lib 包下。(2)修改 user 表中的主机名称没有都修改为%,而是修改为 localhost2.不能...原创 2020-02-13 17:47:47 · 697 阅读 · 0 评论