Flume是基于Java的,当使用flume遇到内存溢出等异常,可以调整JVM参数
ERROR hdfs.HDFSEventSink: process failed
java.lang.OutOfMemoryError: GC overhead limit exceeded
通过linux命令:ps -aux | grep flume 查看flume使用了多少内存
修改export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management.jmxremote"
-Xmx表示JVM Heap(堆内存)最大允许的尺寸,按需分配,但不能超过物理内存。
-Xms表示JVM Heap(堆内存)最小允许的尺寸。
-Xmx和-Xms最好设置一致(或者设置的差距不要太大),减少内存抖动带来的性能影响。