当使用flume-ng进行日志采集的时候,如果日志文件很大,容易导致flume出现:
java.lang.OutOfMemoryError: Java heap space
这样的错误,这就需要调整flume相应的jvm启动参数。
修改 flume下的conf/flume-env.sh文件:
export JAVA_OPTS="-Xms512m -Xmx1024m -Dcom.sun.management.jmxremote"
其中:
-Xms<size> set initial Java heap size.........................
-Xmx<size> set maximum Java heap size.........................
主要修改Xmx和Xms两个参数,可以根据OS内存的大小进行合理设置,一般一个flume agent 1G左右大小即可