flume-ng总结/注意事项

1. 在客户端，使用flume-ng 的avro client传输过程中会丢数据，如

$bin/flume-ng avro-client -H localhost -p 41414 -F /usr/logs/log.10

2. /bin目录下flume-ng启动脚本中的OPTS要设置的大一些，否则会报内存溢出的错误。默认是20m，如下：

JAVA_OPTS="-Xmx20m"

 

3. server端的memory channel的capacity和transactionCapacity一定要设置的比client的大，否则会报错，如下：

13 六月 2013 17:51:57,546 ERROR [pool-7-thread-1] (org.apache.flume.source.AvroSource.appendBatch:261)  - Avro source r1: Unable to process event batch. Exception follows.
org.apache.flume.ChannelException: Unable to put batch on required channel: org.apache.flume.channel.MemoryChannel{name: ..}