离线项目笔记：数据拉取之flume的配置

上下游配置文件

上游

##定义a1的三个组件的名称
a1.sources = r1
a1.sinks = k1
a1.channels = c1

##定义Source的类型
a1.sources.r1.channels = c1
a1.sources.r1.type = TAILDIR
a1.sources.r1.filegroups = g1
a1.sources.r1.filegroups.g1 = /var/logdata/whh_online_data.*
a1.sources.r1.batchSize = 5000

##定义Channel的类型
a1.channels.c1.type = file
a1.channels.c1.checkpointDir = /opt/data/flume-data/checkpoint/
a1.channels.c1.dataDir = /opt/data/flume-data/data/
a1.channels.c1.transactionCapacity = 10000

##定义Sink的类型
a1.sinks.k1.channel = c1
a1.sinks.k1.type = AVRO
a1.sinks.k1.hostname = node03
a1.sinks.k1.port = 4646

下游

两个下游（node03）

# 命名此代理上的组件
a2.sources = r1
a2.sinks = k1
a2.channels = c1

#描述/配置源
a2.sources.r1.channels = c1
a2.sources.r1.type = avro
a2.sources.r1.bind = node03
a2.sources.r1.port = 4646

#使用在内存中缓冲事件的通道
a2.channels.c1.type = file
a2.channels.c1.checkpointDir = /opt/data/flume-data/checkpoint/
a2.channels.c1.dataDir = /opt/data/flume-data/data/
a2.channels.c1.transactionCapacity = 10000

#描述接收器
a2.sinks.k1.channel = c1
a2.sinks.k1.type = HDFS
a2.sinks.k1.hdfs.path = hdfs://hdfs-whh/logdata/applog/%Y-%m-%d/
a2.sinks.k1.hdfs.filePrefix = whh-
a2.sinks.k1.hdfs.fileSuffix = .log.snappy
a2.sinks.k1.hdfs.rollInterval = 300
a2.sinks.k1.hdfs.rollSize = 104857600
a2.sinks.k1.hdfs.rollCount = 100
a2.sinks.k1.hdfs.fileType = CompressedStream
a2.sinks.k1.hdfs.codeC = snappy
a2.sinks.k1.hdfs.useLocalTimeStamp = false

启动命令

服务端：node03
bin/flume-ng agent -n a2 -c conf/ -f myconf/avro_2_hdfs.conf -Dflume.root.logger=INFO,console     将日志打印到控制台在命令后面加入-Dflume.root.logger=INFO,console

客户端：node01，node02
bin/flume-ng agent -n a1 -c conf/ -f myconf/file_2_avro.conf

后台启动：
nohup bin/flume-ng agent -n a2 -c conf/ -f myconf/file_2_avro.conf 1>/dev/null 2>&1 &

查看状态
bin/flume-ng agent -n a2 -c conf/ -f myconf/avro_2_hdfs.conf -Dflume.monitoring.type=http -Dflume.monitoring.port=34545

bin/flume-ng agent -n a2 -c conf/ -f myconf/avro_2_hdfs.conf -Dflume.root.logger=INFO,console -Dflume.monitoring.type=http -Dflume.monitoring.port=34545

上游：
先在flume目录下创建文件 myconf，在myconf目录下配置文件vim file_2_avro.conf

下游
先在flume目录下创建文件myconf，在myconf目录下配置文件vim avro_2_hdfs.conf

启动时，因为数据存放到hdfs中，所以先把hadoop集群启动，随后启动服务端，
启动客户端，开启数据。