flume应用案例

flume应用案例

1 flume用法

flume的使用非常简单，只需书写一个配置文件，在配置文件中描述source，channel和sink的具体实现，然后运行一个agent的实例，在运行agent实例的过程中会读取配置文件中的内容，这样flume就会采集数据了。

配置文件编写规则

1 整体描述agent中的sources、sink、channel：

#其中a1为agent的名字，r1为source名称，k1为sink名称，c1为channel名称
a1.sources = r1
a1.sinks = k1
a1.channels = c1

2 agent中的source、sink和channel的具体实现

需要指定source的类型，即source是接收文件还是接受http的还是接受thrift的；对于sink同理，需要指定结果是输出到hdfs还是和base上等。对于channel需要指定使用内存还是文件进行缓存。

#描述和配置source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

#描述和配置sink
a1.sinks.k1.type = logger

#描述和配置channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

3 通过channel将source与sink连接起来

#通过channel将source与sink连接起来
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

4 在shell中启动agent
$ bin/flume-ng agent -n $agent_name -c conf -f conf/flume-conf.properties.template -Dflume.root.logger=DEBUG,console

参数说明
-n : 制定agent的名称（与配置文件中的agent名字一样）
-c : 指定了flume中配置文件的目录
-f : 制定配置文件
-Dflume.root.logger=DEBUG,console : 设置日志等级

2 案例一

案例描述

监听一个指定的网络端口，即只要应用程序向这个端口写入数据的时候，这个source组建就可以获取到信息。三个组建的类型如下：

source  : NetCat
sink    : logger
channel : memory

配置文件

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = 192.168.32.130
a1.sources.r1.port = 44444

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transctionCapacity = 100

#Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动flume agent a1服务端

$flume-ng agent -n a1 -c ../conf -f ../conf/netcat.conf -Dflume.root.logger=DEBUG,console

在另一个终端下使用netCat发送数据

$nc localhost 44444
然后在下面随意输入内容进行测试。

3 案例二

案例描述

监听一个指定的网络端口，然后将数据写入hdfs上。三个组建的类型如下：

source  : NetCat
sink    : hdfs
channel : file

配置文件

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = 192.168.32.130
a1.sources.r1.port = 44444

# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://hadoop200:9000/dataoutput
a1.sinks.k1.hdfs.writeFormat = Text
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.rollInterval = 10
a1.sinks.k1.hdfs.rollSize = 0
a1.sinks.k1.hdfs..rollCount = 0
a1.sinks.k1.hdfs.filePrefix = %Y-%m-%d-%H-%M-%S
a1.sinks.k1.hdfs.useLocalTimeStamp = true

# Use a channel which buffers events in file
a1.channels.c1.type = file
a1.channels.c1.checkpointDir = /usr/flume/checkpoint
a1.channels.c1.dataDirs = /usr/flume/data

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动flume agent a1服务端

$flume-ng agent -n a1 -c ../conf -f ../conf/netcat.conf -Dflume.root.logger=DEBUG,console

在另一个终端下使用netCat发送数据

$nc localhost 44444
然后在下面随意输入内容进行测试，测试结果如下图：

4 案例三

案例描述

监听一个指定的目录，只要应用程序向这个目录中添加新的文件，source组件就可以获取到消息，并解析该文件的内容，然后写入到channel。写入完成后，标记该文件已完成或者删除该文件。三个组建的类型如下：

source  : Spooling Directory
sink    : logger
channel : memory

Spooling Directory Source注意事项：

1.正在拷贝的文件不能再进行编辑，否则flume就会在log中报错并停掉进程。
2.不能将具有相同文件名的文件拷贝到这个目录，否则flume就会在log中报错并停掉进程。

配置文件

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /usr/local/datainput
a1.sources.r1.fileHeader = true
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = timestamp

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动flume agent a1服务端

$flume-ng agent -n a1 -c ../conf -f ../conf/netcat.conf -Dflume.root.logger=DEBUG,console

测试

向指定的文件夹/usr/local/datainput添加数据观察控制台的变化以及该目录文件的变化。

5 案例四

案例描述

监听一个指定的目录，只要应用程序向这个目录中添加新的文件，source组件就可以获取到消息，并解析该文件的内容，然后写入到channel。写入完成后，标记该文件已完成或者删除该文件。三个组建的类型如下：

source  : Spooling Directory
sink    : hdfs
channel : file

配置文件

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /usr/local/datainput
a1.sources.r1.fileHeader = true
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = timestamp

# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://hadoop200:8020/dataoutput
a1.sinks.k1.hdfs.writeFormat = Text
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.roolInterval = 10
a1.sinks.k1.hdfs.roolSize = 0
a1.sinks.k1.hdfs.roolCount = 0
a1.sinks.k1.hdfs.filePrefix = %Y-%m-%d-%H-%M-%S
a1.sinks.k1.hdfs.useLocalTimeStamp = true

# Use a channel which buffers in file
a1.channels.c1.type = file
a1.channels.c1.checkpointDir = /usr/flume/checkpoint
a1.channels.c1.dataDirs = /usr/flume/data

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动flume agent a1服务端

$flume-ng agent -n a1 -c ../conf -f ../conf/netcat.conf -Dflume.root.logger=DEBUG,console

测试

向指定的文件夹/usr/local/datainput添加数据，然后通过web观察hdfs的变化以及该目录文件的变化。