在一次hive语句进行行转列操作的时候,几千万的数据量发生了omm, GC overhead limit exceeded.
去网上查找了一下,判断是自己给map端和reduce端的内存太小了,才导致的omm,所以增加map端和reduce端的内存就好了.直接在客户端设置一下.
hive> set mapreduce.map.memory.mb=2048;
hive> set mapreduce.reduce.memory.mb=2048;
再次执行,执行成功.
在一次hive语句进行行转列操作的时候,几千万的数据量发生了omm, GC overhead limit exceeded.
去网上查找了一下,判断是自己给map端和reduce端的内存太小了,才导致的omm,所以增加map端和reduce端的内存就好了.直接在客户端设置一下.
hive> set mapreduce.map.memory.mb=2048;
hive> set mapreduce.reduce.memory.mb=2048;
再次执行,执行成功.