Flume的使用问题及解决方案

在使用flume-ng时，踩了很多坑，现在来说一下，希望大家绕过坑，到达熟练使用flume的目的

第一坑：不能正确解码文件，造成不能正确的重命名文件，抛出bug后，之后所有文件都不可以被flume收集，是一个比较严重的错，引起原因是flume使用NIO方式读取文件，将读取的文件以UTF-8的编码读取，在linux状态下，默认是按照GBK编码方式存储文件，所以读取时就会遇到字符长度不够问题，解决办法：在flume配置文件中设置监控目录中读取文件的编码方式。

第二坑：cp大文件抛出异常，这个是因为copy到spoolDir下的文件不可以被修改所致，解决办法，使用scp或者cp备份文件，然后将文件mv进 spoolDir下。还可以使用后缀名正则配合，先拷贝进去.tmp的文件，等待copy完成后，rename为未按名。

第三坑：flume默认单个文件为1G，如果单个日志超过1G，则设置参数