hive中与hbase外部表join时内存溢出（hive处理mapjoin的优化器机制）

与hbase外部表（wizad_mdm_main）进行join出现问题：
CREATE TABLE wizad_mdm_dev_lmj_edition_result as
select * 
from  wizad_mdm_dev_lmj_20141120 as w 
JOIN wizad_mdm_main as a ON (a.rowkey = w.guid);

程序启动后，死循环，无反应。最后在进行到0.83时，内存溢出失败。
原因：
默认情况下，Hive会自动将小表加到DistributeCache中，然后在Map扫描大表的时候，去和DistributeCache中的小表做join，这称为Mapjoin。
这里wizad_mdm_main是基于HBase的外部表，而这张表在HDFS上的源路径为 /hivedata/warehouse/wizad.db/wizad_mdm_main，实际这个目录为空，
因此，Hive优化器认为它是小表，所以，会将这张表数据加到DistributeCache中，造成内存溢出。



解决办法：
SET hive.auto.convert.join=false; 关闭自动转化MapJoin，默认为true;
SET hive.ignore.mapjoin.hint=false; 关闭忽略mapjoin的hints（不忽略，hints有效），默认为true(忽略hints)。