使用hive做了一些复杂查询时,因为语句过于复杂,对内存的使用可能比较高,这时候可能出现内存溢出的问题
此时需要在beeline之类的命令行中,配置如下变量
配置前记得先用set 变量名;查看下是否已经有内容了
set hive.tez.container.size=2048;可以更大
set hive.tez.java.opts=-Xmx 512m;这里需要先查看下,把之前配置组合进来
set tez.runtime.io.sort.mb=200;可以调整大点
set tez.runtime.unordered.output.buffer.size-mb=200;