kafak 到 hdfs 通过flumes elector.type = replicating 副本发送

#example.conf: A single-node Flume configuration

#Name the components on this agent
a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1 c2
a1.source.r1.selector.type = replicating

#Describe/configure the source
a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource
a1.sources.r1.kafka.bootstrap.servers = hdp4:6667,hdp5:6667,hdp6:6667
a1.sources.r1.kafka.consumer.group.id = flume1
# 定义kafka所在zk的地址
a1.sources.r1.zookeeperConnect = hdp1.hdp:2181,hdp2.hdp:2181,hdp3.hdp:2181
a1.sources.r1.kafka.topics = IOT_DS_DATA_BACK2
# 消费超时时间
a1.sources.r1.kafka.consumer.timeout.ms = 10000
#向channel写入消息的最多条数
a1.sources.r1.batchSize = 50000
#向channel书写的最大时间 (毫秒)
a1.sources.r1.batchDurationMillis = 2000
#9.7mb
a1.sources.r1.kafka.consumer.max.partition.fetch.bytes = 10240000

# Describe the sink1
a1.sinks.k1.type = hdfs
# hdfs://hdp1.hdp:8020/IOT/*/%y-%m-%d/%H-%M
a1.sinks.k1.hdfs.path = hdfs://hdp1.hdp:8020/IOT/111/20%y/%m/%d-%H-%M
#用本地时间格式化目录
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#下沉后, 生成的文件类型，默认是Sequencefile，可用DataStream，则为普通文本  a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.writeFormat = Text
a1.sinks.k1.hdfs.fileType = DataStream
#fileType: 默认值为SequenceFile，文件格式主要包括：SequenceFile, DataStream, CompressedStream；
#当使用DataStream时，文件不会被压缩，则不需要设置hdfs.codeC; 当使用CompressedStream时，则必须设置一个正确的hdfs.codeC值
#a1.sinks.k1.hdfs.fileType = CompressedStream
#codeC: 文件压缩格式，包括：gzip, bzip2, lzo, lzop, snappy;
#a1.sinks.k1.hdfs.codeC = lzop
#前缀
a1.sinks.k1.hdfs.filePrefix = data
#后缀
a1.sinks.k1.hdfs.fileSuffix=.json
#文件回滚之前等待的时时间单位 秒
a1.sinks.k1.hdfs.rollInterval = 100
#文件滚动大的大小限制（bytes）8000000  /1024/1024
a1.sinks.k1.hdfs.rollSize =  90000000
#写入多少个 event 数据后滚动文件（事件个数）
a1.sinks.k1.hdfs.rollCount = 70000
#hdfs sink启动的操作HDFS的线程数。
a1.sinks.k1.hdfs.threadsPoolSize = 100
#默认值：1，hdfs sink 启动的根据时间滚动文件的线程数。
a1.sinks.k1.hdfs.rollTimerPoolSize = 10
# 事件就往里面写入
a1.sinks.k1.hdfs.batchSize = 100000
a1.sinks.k1.hdfs.txnEventMax = 100000

# 10 分钟就创建文件
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute
#默认值为0, 当目前被打开的临时文件在该参数指定的时间（秒）内，没有任何数据写入，则将该临时文件关闭并重命名成目标文件
#a1.sinks.k1.hdfs.idleTimeout=300
#默认值为HDFS副本数；写入HDFS文件块的最小副本数，该参数会影响文件的滚动配置，一般将该参数配置成1,才可以按照配置正确滚动文件；
a1.sinks.k1.hdfs.minBlockReplicas=1
#默认值5000,最大允许打开的HDFS文件数，当打开的文件数达到该值，最早打开的文件将会被关闭；
a1.sinks.k1.hdfs.maxOpenFiles=5000
#默认值：10000，执行HDFS操作的超时时间（单位：毫秒）；
a1.sinks.k1.hdfs.callTimeout=100000

# Describe the sink2
a1.sinks.k2.type = hdfs
# hdfs://hdp1.hdp:8020/IOT/*/%y-%m-%d/%H-%M
a1.sinks.k2.hdfs.path = hdfs://hdp1.hdp:8020/IOT/112/20%y/%m/%d-%H-%M
#用本地时间格式化目录
a1.sinks.k2.hdfs.useLocalTimeStamp = true
#下沉后, 生成的文件类型，默认是Sequencefile，可用DataStream，则为普通文本  a1.sinks.k2.hdfs.fileType = DataStream
a1.sinks.k2.hdfs.writeFormat = Text
a1.sinks.k2.hdfs.fileType = DataStream
#fileType: 默认值为SequenceFile，文件格式主要包括：SequenceFile, DataStream, CompressedStream；
#当使用DataStream时，文件不会被压缩，则不需要设置hdfs.codeC; 当使用CompressedStream时，则必须设置一个正确的hdfs.codeC值
#a1.sinks.k2.hdfs.fileType = CompressedStream
#codeC: 文件压缩格式，包括：gzip, bzip2, lzo, lzop, snappy;
#a1.sinks.k2.hdfs.codeC = lzop
#前缀
a1.sinks.k2.hdfs.filePrefix = data
#后缀
a1.sinks.k2.hdfs.fileSuffix=.json
#文件回滚之前等待的时时间单位 秒
a1.sinks.k2.hdfs.rollInterval = 100
#文件滚动大的大小限制（bytes）8000000  /1024/1024
a1.sinks.k2.hdfs.rollSize =  90000000
#写入多少个 event 数据后滚动文件（事件个数）
a1.sinks.k2.hdfs.rollCount = 70000
#hdfs sink启动的操作HDFS的线程数。
a1.sinks.k2.hdfs.threadsPoolSize = 100
#默认值：1，hdfs sink 启动的根据时间滚动文件的线程数。
a1.sinks.k2.hdfs.rollTimerPoolSize = 10
# 事件就往里面写入
a1.sinks.k2.hdfs.batchSize = 100000
a1.sinks.k2.hdfs.txnEventMax = 100000

# 10 分钟就创建文件
a1.sinks.k2.hdfs.round = true
a1.sinks.k2.hdfs.roundValue = 10
a1.sinks.k2.hdfs.roundUnit = minute
#默认值为0, 当目前被打开的临时文件在该参数指定的时间（秒）内，没有任何数据写入，则将该临时文件关闭并重命名成目标文件
#a1.sinks.k2.hdfs.idleTimeout=300
#默认值为HDFS副本数；写入HDFS文件块的最小副本数，该参数会影响文件的滚动配置，一般将该参数配置成1,才可以按照配置正确滚动文件；
a1.sinks.k2.hdfs.minBlockReplicas=1
#默认值5000,最大允许打开的HDFS文件数，当打开的文件数达到该值，最早打开的文件将会被关闭；
a1.sinks.k2.hdfs.maxOpenFiles=5000
#默认值：10000，执行HDFS操作的超时时间（单位：毫秒）；
a1.sinks.k2.hdfs.callTimeout=100000

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 800000000
a1.channels.c1.transactionCapacity = 500000
a1.channels.c1.keep-alive = 50

# Use a channel which buffers events in memory
a1.channels.c2.type = memory
a1.channels.c2.capacity = 800000000
a1.channels.c2.transactionCapacity = 500000
a1.channels.c2.keep-alive = 50

# Bind the source and sink to the channel
a1.sources.r1.channels = c1 c2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2