Hadoop内存超限的解决方法

解决方法

   当运行hql时，有时会提示内存超限，这是只需要修改一个配置就可以完美的解决。

   这个配置默认值基本为 800（单位MB），当我们讲数值调大后就可以解决此问题。

set stream.memory.limit=1600;

   添加此配置的前提是以下两个配置都为 false，默认值为 false，如果没有刻意的修改，可以忽略。

set abaci.use.hard.limit=false;
set abaci.use.memory.hard.limit=false;

 如果权限不够或无法修改时，可以尝试换个思路解决。
 1、观察数据量是否过大。
 2、如果可以拆分数据，合理的拆分数据。