HIVE 小结

https://blog.csdn.net/u013850277/article/category/6816431 Hive系列

https://my.oschina.net/leejun2005/blog/98490    Hive 中内部表与外部表的区别与创建方法
https://blog.csdn.net/qq_36743482/article/details/78418343    Hive分区partition详解
https://blog.csdn.net/qq_26937525/article/details/54946281 Hive Dynamic Partition

 

 

HIVE 极大表和极小表关联问题:

Hive的Map Join适用于能够在内存中存放下的小表（指表大小小于25M），通过hive.smalltable.filesize定义小表的大小，默认为25M。

Map Join的方法有两种：
1\使用/*+ MAPJOIN(join_table) */来使用map join。
2\执行语句前设置如下参数，当前版本中该值默认为true : set hive.auto.convert.join=true

使用Map Join时没有Reduce任务，而是在Map任务前起了一个MapReduce Local Task，这个Task通过TableScan读取小表内容到本机，在本机以HashTable的形式保存并写入硬盘上传到DFS，并在distributed cache中保存，在Map Task中从本地磁盘或者distributed cache中读取小表内容直接与大表join得到结果并输出。

使用Map Join时需要注意小表不能过大，如果小表将内存基本用尽，会使整个系统性能下降甚至出现内存溢出的异常。