第三章、flume的简单案例

第一个案例：
1、配置conf/flume-properties文件
//基础配置
a1.sources = r1
a1.channels = c1
a1.sinks = k1
//source配置
a1.sources.r1.type = netcat
a1.sources.r1.channels = c1
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 4141
//sink配置
a1.sinks.k1.type = logger
//channel配置
a1.channels.c1.type = memory
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

2、启动flume，进入conf目录下
$flume-ng agent -c . -f conf/flume-properties -n a1 -Dflume.root.logger=INFO,console

3、打开一个新窗口，命令nc localhost 4141,然后再这个窗口输入内容，第一个窗口可以接受到这个窗口输入的内容

总结：这个案例source用的是netcat,channel用的是memory，sink用的是logger

---

第二个案例：

1、复制flume-properties，并命名为flume2-properties，修改里面的配置
//基础配置
a1.sources = r1
a1.channels = c1
a1.sinks = k1
//source配置
a1.sources.r1.type = avro
a1.sources.r1.channels = c1
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 8888
//sink配置
a1.sinks.k1.type = logger
//channel配置
a1.channels.c1.type = memory
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

2、启动flume，进入conf目录下
$flume-ng agent -c . -f conf/flume-properties -n a1 -Dflume.root.logger=INFO,console

3、打开一个新窗口，采用avro的客户端登录
-H 指定启动flume节点的IP
-P 指定启动flume节点的端口
-F 指定向flume传入的文件
命令：bin/flume-ng avro-client -H localhost -p 8888 -F /app/logs/test.log

4、在启动flume的窗口可以看到传过来的文件内容

总结：这个案例source用的是avro,channel用的是memory，sink用的是logger