08_第二层flume配置文件

#1、定义agent、source、channel、sink的名称
a1.sources = r1
a1.channels = c1
a1.sinks = k1

#2、描述source
a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource
#指定kafka集群地址
a1.sources.r1.kafka.bootstrap.servers = hadoop102:9092,hadoop103:9092
#指定消费者组的id
a1.sources.r1.kafka.consumer.group.id = g2222
#指定消费的topic的名称
a1.sources.r1.kafka.topics = applog
#指定source从kafka拉取数据的批次大小
a1.sources.r1.batchSize = 100
#是否以event数据类型读取kafka数据
a1.sources.r1.useFlumeEventFormat = false
#消费者组第一次消费topic数据的时候指定从哪个位置开始消费
a1.sources.r1.kafka.consumer.auto.offset.reset = earliest

#2.1、描述拦截器[处理数据漂移问题]
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = com.atguigu.interceptor.MyTimeInterceptor$Builder

#3、描述channel
a1.channels.c1.type = file
#指定channel数据的存储目录
a1.channels.c1.dataDirs = /opt/module/flume/datas
#指定channel内存指针的保存路径
a1.channels.c1.checkpointDir = /opt/module/flume/checkpoints
#指定事务的容量
a1.channels.c1.transactionCapacity = 1000
#指定channel的容量 batchSize<=transactionCapacity<=capacity
a1.channels.c1.capacity = 1000000

#4、描述sink
a1.sinks.k1.type = hdfs
#指定数据存储目录
a1.sinks.k1.hdfs.path = hdfs://hadoop102:8020/applog/%Y%m%d
#指定数据存储的文件前缀
a1.sinks.k1.hdfs.filePrefix = log-
#指定flume向文件中写多长时间之后,生成新文件,数据向新文件中写入,老文件不再写数据
a1.sinks.k1.hdfs.rollInterval=30
#指定flume向文件写到多大之后,生成新文件,数据向新文件中写入,老文件不再写数据
a1.sinks.k1.hdfs.rollSize=132120576
#指定flume向文件写入多少个event之后,生成新文件,数据向新文件中写入,老文件不再写数据
a1.sinks.k1.hdfs.rollCount=0
#指定sink每个批次从channel中拉取多少数据
a1.sinks.k1.hdfs.batchSize=100
#指定数据写入HDFS的时候压缩格式
#a1.sinks.k1.hdfs.codeC=lzop
#指定数据保存在HDFS的文件类型:SequenceFile-序列化文件, DataStream-文本文件, CompressedStream-压缩文件
#a1.sinks.k1.hdfs.fileType=CompressedStream
a1.sinks.k1.hdfs.fileType=DataStream
#指定是否按照指定的时间间隔生成文件夹
a1.sinks.k1.hdfs.round=false

#5、关联source->channel->sink
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1