Flume 读取本地数据输出到 HDFS/Kafka

一、介绍

Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据流的简单灵活的体系结构。它具有可调整的可靠性机制以及许多故障转移和恢复机制，具有强大的功能和容错能力。它使用一个简单的可扩展数据模型，允许在线分析应用程序。

1.9.0版是Flume的第11版，是Apache顶级项目。Flume 1.9.0是稳定的，可立即投入生产的软件，并且与Flume 1.x代码行的早期版本向后兼容。
此版本进行了几个月的积极开发：自1.8.0版以来，已提交了约70个补丁，代表许多功能，增强功能和错误修复。虽然可以在1.9.0版本页面（下面的链接）上找到完整的更改日志，但这里有一些新功能要点：
1.更好的SSL / TLS支持
2.配置过滤器提供了一种将敏感信息（例如密码）注入配置的方法
3.上下文中的浮点数和双值支持
4.Kafka客户端升级到2.0
5.HBase 2支持

二、为什么需要Flume

产生数据的数据端与接收数据的数据端读出和写出的速度不匹配，借助一个中间件来进行缓存数据，稳定数据的输出速度，这就是flume的核心作用。
读数据—>缓存数据【本地磁盘，内存】—>写数据
1.读数据的数据源数据多样：
HDFS、HBase、Mysql、Kafka等等

三、Flume安装

tar -zxvf  apache-flume-1.9.0-bin.tar.gz  -C  /root/apps/

配置文件如下：

四、实时采集/root/log/新文件到HDFS

4.1 实时日志

1.创建日志目录
mkdir -p /root/log
2.创建文件
echo 1212312311 -> a.txt

4.2 dir-hdfs.conf

配置文件任何位置都可以

#定义三大组件的名称
ag1.sources = source1
ag1.sinks = sink1
ag1.channels = channel1

# 配置source 【本地磁盘】组件 读取类型  采集目录  采集后的后缀  每行最大长度控制，默认2KB  
ag1.sources.source1.type = spooldir
ag1.sources.source1.spoolDir = /root/log/
ag1.sources.source1.fileSuffix=.FINISHED
# ag1.sources.source1.deserializer.maxLineLength=5120

# 配置sink HDFS组件  ## DataStream类型 采集什么，放入什么，还有压缩类型【1100011 1100011  --> 001 001】
ag1.sinks.sink1.type = hdfs
ag1.sinks.sink1.hdfs.path =hdfs://hadoop1:9000/access_log/%y-%m-%d/%H-%M
ag1.sinks.sink1.hdfs.filePrefix = app_log
ag1.sinks.sink1.hdfs.fileSuffix = .log
ag1.sinks.sink1.hdfs.batchSize= 100
ag1.sinks.sink1.hdfs.fileType = DataStream
ag1.sinks.sink1.hdfs.writeFormat =Text

## roll：HDFS 文件滚动切换：控制写文件的切换规则【哪一条满足规则就用哪个】 512M 文件体积切分  100万 条记录 记录切分  60s   切分数据
ag1.sinks.sink1.hdfs.rollSize = 512000
ag1.sinks.sink1.hdfs.rollCount = 1000000
ag1.sinks.sink1.hdfs.rollInterval = 60

## 控制生成 HDFS 目录的规则 10 分钟切换一次
ag1.sinks.sink1.hdfs.round = true
ag1.sinks.sink1.hdfs.roundValue = 10
ag1.sinks.sink1.hdfs.roundUnit = minute
ag1.sinks.sink1.hdfs.useLocalTimeStamp = true

# channel组件配置  50万条记录 flume事务控制所需要的缓存容量600条event记录
ag1.channels.channel1.type = memory
ag1.channels.channel1.capacity = 500000     
ag1.channels.channel1.transactionCapacity = 600


# 绑定source、channel和sink之间的连接
ag1.sources.source1.channels = channel1
ag1.sinks.sink1.channel = channel1

4.3 启动flume

nohup bin/flume-ng agent -c  conf/  -f  dir-hdfs.conf  -n  ag1  1>/dev/null 2>&1 &

五、文件内容新增追加到HDFS

5.1 整体流程

5.2 tail-hdfs.conf

#定义三大组件的名称
ag1.sources = source1
ag1.sinks = sink1
ag1.channels = channel1

# 配置source 【本地磁盘】组件 读取类型  采集目录  采集后的后缀  每行最大长度控制，默认2KB  
ag1.sources.source1.type = exec
a1.sources.r1.command = tail -F /root/access_log.log

# 配置sink HDFS组件  ## DataStream类型 采集什么，放入什么，还有压缩类型【1100011 1100011  --> 001 001】
ag1.sinks.sink1.type = hdfs
ag1.sinks.sink1.hdfs.path =hdfs://hadoop1:9000/access_log/%y-%m-%d/%H-%M
ag1.sinks.sink1.hdfs.filePrefix = app_log
ag1.sinks.sink1.hdfs.fileSuffix = .log
ag1.sinks.sink1.hdfs.batchSize= 100
ag1.sinks.sink1.hdfs.fileType = DataStream
ag1.sinks.sink1.hdfs.writeFormat =Text

## roll：HDFS 文件滚动切换：控制写文件的切换规则【哪一条满足规则就用哪个】 512M 文件体积切分  100万 条记录 记录切分  60s   切分数据
ag1.sinks.sink1.hdfs.rollSize = 512000
ag1.sinks.sink1.hdfs.rollCount = 1000000
ag1.sinks.sink1.hdfs.rollInterval = 60

## 控制生成 HDFS 目录的规则 10 分钟切换一次
ag1.sinks.sink1.hdfs.round = true
ag1.sinks.sink1.hdfs.roundValue = 10
ag1.sinks.sink1.hdfs.roundUnit = minute
ag1.sinks.sink1.hdfs.useLocalTimeStamp = true

# channel组件配置  50万条记录 flume事务控制所需要的缓存容量600条event记录
ag1.channels.channel1.type = memory
ag1.channels.channel1.capacity = 500000     
ag1.channels.channel1.transactionCapacity = 600


# 绑定source、channel和sink之间的连接
ag1.sources.source1.channels = channel1
ag1.sinks.sink1.channel = channel1

打印日志 /root/access_log.log
编写shell脚本

while true
do
echo 'date' >> access_log.log
sleep 0.1
done

5.3 启动flume

用tail命令获取数据，下沉到hdfs
启动命令：

bin/flume-ng agent -c conf -f conf/tail-hdfs.conf -n ag1  
# bin/flume-ng agent -c conf -f conf/tail-hdfs.conf -n ag1 -DFlume.root.logger=INFO,console

查看hadoop文件系统有没有

hadoop1:9000  
hadoop  fs -cat  /access_log

flume官方文档： http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html