flume采集数据到hdfs上产生的问题解决

解决Flume采集数据时在HDFS上产生大量小文件的问题

flume指定HDFS类型的Sink时，采集数据至HDFS指定目录，会产生大量小文件。
解决方案：
去掉round时间系列参数，并将rollSize和rollCount置0，
表示不根据临时文件大小和event数量来滚动文件（滚动文件即指将HDFS上生成的以.tmp结尾的临时文件转换为实际存储文件）。
当然，也可以调大rollSize参数（如调至100000000,表示100MB滚动文件，单位是bytes）;

#Describe the sink  添加：

a1.sinks.k1.hdfs.rollSize=0
a1.sinks.k1.hdfs.rollCount=0

rollSize
默认值：1024，当临时文件达到该大小（单位：bytes）时，滚动成目标文件。如果设置成0，则表示不根据临时文件大小来滚动文件。
rollCount
默认值：10，当events数据达到该数量时候，将临时文件滚动成目标文件，如果设置成0，则表示不根据events数据来滚动文件。

解决Flume将kafka中的数据传到HDFS中中文有乱码问题

翻看Flume文档，发现，HdfsEventSink中，hdfs.fileType默认为SequenceFile，将其改为DataStream就可以按照采集的文件原样输入到hdfs，加一行a1.sinks.k1.hdfs.fileType=DataStream

a1.sinks.k1.hdfs.fileType=DataStream

解决Flume将kafka中的数据传到HDFS中时间不一致问题

场景描述：在23：59分时，进行采集今天的数据，数据在导入hdfs时，时间到了第二天，那么数据产生了不一致！！！

一般是在flume中加时间戳，当23：59分时可以给这批数据加时间戳，直接导入hdfs中时判断时间戳进行存储数据！！！

方法很多.....