flume 学习总结

flume 总结

1 下载、配置、安装

1.1 下载

在官网 http://flume.apache.org/download.html 下载 apache-flume-1.7.0-bin.tar.gz 文件，解压缩。

1.2 配置、安装

进入解压缩文件夹下的 conf 文件夹，执行 cp flume-env.sh.template flume-env.sh，在 flume-env.sh 中添加 JAVA_HOME=jdk_path jdk_path 为 java 绝对路径。

执行 /flume-1.7.0-bin/bin/flume-ng version 出现版本信息证明配置安装成功。

2 flume 架构

flume 架构是基于 agent，agent 是由 source、channel、sink 组成。其中 source 相当于生产者，channel 相当于消息队列，sink 相当于消费者。

数据在 flume 中是以 event 为单位的，source 将数据打包为 event 传入 channel、sink 从 channel 中取数据。event 从 source 到 channel 和从 channel 到 sink 都是事务级别的。

由于 flume 是基于 agent 的，所以 flume 支持多级结构、扇入、扇出

3 agent 配置

一个 agent 中至少包括 source、channel、sink 各一个。

a1.sources = r1
a1.sinks = k1
a1.channels = c1

a1 为 agent 的名称。

以下内容均不完全，详情参考 http://flume.apache.org/FlumeUserGuide.html 。

3.1 source 配置

本文只列出了几种类型。

3.1.1 监听网络端口

avro source ： 以 avro 格式处理数据

# 必须配置
a1.sources.r1.type = avro
a1.sources.r1.bind = 127.0.0.1
a1.sources.r1.port = 3366
a1.sources.r1.channels = c1
#可选配置
# ssl 认证
a1.sources.r1.ssl = false 
a1.sources.r1.keystore = 
a1.sources.r1.keystore-password = 
# ip 过滤
a1.sources.r1.ipFilter = false
a1.sources.r1.ipFilterRules
……

---

thrift source ：以 thrift 格式处理数据

# 必须配置
a1.sources.r1.type = thrift
a1.sources.r1.bind = 127.0.0.1
a1.sources.r1.port = 3366
a1.sources.r1.channels = c1

#可选配置
# ssl 认证
a1.sources.r1.ssl = false 
a1.sources.r1.keystore = 
a1.sources.r1.keystore-password = 
……

---

还有 http 类型等详见 http://flume.apache.org/FlumeUserGuide.html

3.1.2 监控文件

spooldir source ：监控文件夹下新增文件

# 必须配置
a1.sources.r1.type = spooldir
a1.sources.r1