Flume 内存优化之 OutOfMemoryError: GC overhead limit exceeded

1.问题描述：启动消费Flume抛出如下异常

ERROR hdfs.HDFSEventSink: process failed

java.lang.OutOfMemoryError: GC overhead limit exceeded

2.解决方案步骤：

（1）在hadoop102 服务器的 /opt/module/flume/conf/flume-env.sh 文件中增加如下配置

export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management.jmxremote"

（2）同步配置到hadoop103、hadoop104服务器

[lpy@hadoop102 conf]$ xsync flume-env.sh

3.Flume内存参数设置及优化

• JVM heap一般设置为 4G 或更高，部署在单独的服务器上（4核8线程16G内存）
• -Xmx 与 -Xms 最好设置一致，减少内存抖动带来的性能影响