关联查询
执行sqoop命令,hive sql的时候,先报一堆错,然后执行job,报错截图如下:
异常原因:mapreduce将数据量小的表识别成了大表,数据量大的识别成小表,将数据量大的表加入到内存,导致程序异常,但并不影响执行结果
解决方法:
==通常情况下,设置取消小表加载至内存中即可==
set hive.auto.convert.join = false;
==如果执行上述命令没有解决,执行如下命令==
set hive.execution.engine=mr;
set hive.mapjoin.smalltable.filesize=55000000;
set hive.auto.convert.join = false; #取消小表加载至内存中