1. 问题背景
内存溢出,提示:ERROR hdfs.HDFSEventSink: process failed java.lang.OutOfMemoryError: GC overhead limit exceeded
2. 解决方案
# 向flume-env.sh添加内容
vim $FLUME_HOME/conf/flume-env.sh
# 尾部添加内容如下
export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management.jmxremote"
3. 参数解释
参数 | 解释 |
Xms | JVM分配给flume的初始的内存大小 |
Xmx | JVM能够分配给flume的最大内存大小 |
一般设置Xms = Xmx,可以避免内存抖动带来的性能消耗。