flume采集数据到hdfs上为什么会生成很多的小文件呢？？？？？

原文链接：https://blog.csdn.net/qq_32502511/article/details/85048594

问题：

flume监控的目录写入大文件的时候不能同步记录在hdfs中
flume监控的目录写入大文件的时候，同步记录到hdfs中后变成多个小文件

flume从kafka中读取数据下沉到hdfs中会生成很多小文件
解决办法：更改flume的配置信息（主要更改滚动方式），滚动的意思是当flume监控的目录达到了配置信息中的某一条滚动方式的时候，会触发flume提交一个文件到hdfs中（即在hdfs中生成一个文件）
flume有三种滚动方式。
1.按照时间
2.按照大小
3.按照count.
如果时间不合适。可以按照大小来滚动，比如70M
rollsize=70M ，当然这里记得换算单位70*2024

下面的示例是设置rollInterval=60秒的时候滚动一次，60秒同步一次数据到hdfs中，也就是说在60秒之内kafka里面插入的新数据都会被放在当前这个hdfs文件，60秒过后将滚动生成一个新的hdfs文件。

##kafka-source

a1.sources = r1
a1.sinks = k1
a1.channels = c1

Describe/configure the source

a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource
a1.sources.r1.kafka.bootstrap.servers = 192.168.12.103:6667,192.168.12.102:6667,192.168.12.104:6667
a1.sources.r1.kafka.consumer.group.id = lyl-gid1
a1.sources.r1.kafka.topics = flume_test

Describe the sink

a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /test/flume/test/
a1.sinks.k1.hdfs.useLocalTimeStamp = false
a1.sinks.k1.hdfs.writeFormat = Text
a1.sinks.k1.hdfs.filePrefix = test
a1.sinks.k1.hdfs.fileSuffix = .log
a1.sinks.k1.hdfs.fileType = DataStream

hdfs.rollInterval属性设置打开时间，使时间足够长，获取足够多的内容

a1.sinks.k1.hdfs.rollInterval = 60

hdfs.rollSize属性设置文件大小，当文件达到一定的大小的时候才传输（默认1024个字节）

a1.sinks.k1.hdfs.rollSize = 0
#hdfs.rollCount属性设置接受的事件数目，当文件写满了给定数量的事件之后才传输。
a1.sinks.k1.hdfs.rollCount = 0

Use a channel which buffers events in memory

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1500000
a1.channels.c1.transactionCapacity = 10000

Bind the source and sink to the channel

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

接下来，再来看看通过设置rollSize大小来控制滚动，如我这里设置为5kb就滚动

Describe the sink

a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /test/flume/test/
a1.sinks.k1.hdfs.useLocalTimeStamp = false
a1.sinks.k1.hdfs.writeFormat = Text
a1.sinks.k1.hdfs.filePrefix = test
a1.sinks.k1.hdfs.fileSuffix = .log
a1.sinks.k1.hdfs.fileType = DataStream

hdfs.rollInterval属性设置打开时间，使时间足够长，获取足够多的内容

a1.sinks.k1.hdfs.rollInterval = 0

hdfs.rollSize属性设置文件大小，当文件达到一定的大小的时候才传输（默认1024个字节）

a1.sinks.k1.hdfs.rollSize = 5120
#hdfs.rollCount属性设置接受的事件数目，当文件写满了给定数量的事件之后才传输。
a1.sinks.k1.hdfs.rollCount = 0

注意sink.type,如果是memory模式，注意文件的大小，防止内存不足，太大可以设置sink.type = file