数仓分析中的三种内存不足及解决方案

1.堆内存不足

现象：运行失败报错：Java Heap Space
解决方案： 调整堆内存大小

	--调整MapTask内存
    set mapreduce.map.java.opts=-Xmx4000m;
    set mapreduce.map.memory.mb=4096;
    --调整ReduceTask内存
    set mapreduce.reduce.java.opts=-Xmx6000m;
    set mapreduce.reduce.memory.mb=6096;

2.物理内存不足

 现象：Current usage 6.x of 6GB physical memory
 解决：给定更多的物理内存，调整进程和NodeManager最大物理内存的使用

3.虚拟内存不足

现象:Current usage 14 of 12.6GB virtaul memory
解决：调大虚拟内存
  默认值：物理内存的2.1倍
       调整虚拟内存的比例

 yarn.nodemanager.vmem-pmem-ratio=4;

别的解决方案

方案一：关闭Map Join

set hive.auto.convert.join=false;
set hive.enforce.bucketing=false;

方案二：不要使用桶表，建表储存是不要使用ORC文件格式存储