![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
Frantic丶Lin
这个作者很懒,什么都没留下…
展开
-
通过Hive自带的jar包生成Hbase的Hfile
1. hive建表set hive.execution.engine=mr; set hfile.compression=gz; add jar hive-hbase-handler-version.jar; create table my_hbase_table(key string, cf_0_c0 string, cf_0_c1 string, ...) stored as INPUTF...原创 2018-06-29 20:34:48 · 2716 阅读 · 1 评论 -
MapJoin
由于hive在进行join的过程中要进行shuffle 如果两个表中有一个表比较小,将这个小表加入到每个mapper的内存中, 就可以省去shuffle的过程 --开启默认 set hive.auto.convert.join=true; --小于这个参数大小的小表则会变成MapJoin为(默认2500000Byte) set hive.mapjoin.smalltable.filesize=...原创 2018-07-19 20:58:22 · 2807 阅读 · 0 评论