阅读与写作
陷阵之志
0.07M
爱诗词的代码人
展开
-
Hive学习笔记(四)——优化篇1
案例:https://www.jianshu.com/p/8e2f2f0d4b6c 1 修改map和reduce的个数 2 mapjoin 大小表的join 3 join 4 数据倾斜原创 2019-05-16 12:09:27 · 264 阅读 · 0 评论 -
Hive学习笔记(五)——优化篇2
JOIN优化 大小表优化 大小表优化指的是在2张或2张以上的表进行join的时候,要保证连续查询中的表的大小从左到右依次是增加的。这样hive会将小表保存到内存中,Hive 可以在map端执行连接的过程,与内存中的小表进行逐一篇匹配,从而省略掉常规操作所需的的reduce过程。 第一种写法是按大小表位置来写,即小表写在前,大表写在后 divedends为小表 ;stocks为大表 SELECT s...原创 2019-08-12 15:43:33 · 222 阅读 · 0 评论