flume向hdfs中写入大文件（日志）

问题：

• flume监控的目录写入大文件的时候不能同步记录在hdfs中
• flume监控的目录写入大文件的时候，同步记录到hdfs中后变成多个小文件
  解决办法：更改flume的配置信息（主要更改滚动方式），滚动的意思是当flume监控的目录达到了配置信息中的某一条滚动方式的时候，会触发flume提交一个文件到hdfs中（即在hdfs中生成一个文件）

flume有三种滚动方式。

1.按照时间
2.按照大小
3.按照count.
如果时间不合适。可以按照大小来滚动，比如70M
rollsize=70M ，当然这里记得换算单位

注意sink.type,如果是memory模式，注意文件的大小，防止内存不足，太大可以设置sink.type = file