flume报错解决

问题一：

Failed writing positionFile Java.lang.OutOfMemoryError：Java heap space

解决办法：增大jvm初始化内存和最大可用内存

export JAVA_HOME=/usr/local/java
export JAVA_OPTS="-Xms1G -Xmx2G -Dcom.sun.management.jmxremote"

如果上述不行，就在以下设置：
flume-ng脚本中设置
JAVA_OPTS="-Xmx2048m"

问题二：

Error: DataXceiver error processing WRITE_BLOCK operation src: /x.x.x.x:50373 dest: /x.x.x.x:50010

问题原因：
linux nofile超过最大限制

解决办法：
查看系统最大可打开的文件数

查看该进行打开的文件数量

[root@hadoop2 ~]# lsof -p 29828|wc -l 
2932

修改nfile配置文件，手工增加nofile的大小

vi /etc/security/limits.conf 
*       soft    nofile   655360
*       hard    nofile   655360

重启flume进程，也就是进程29828，问题解决