LZ最近在学习Flume(分布式日志收集框架),从简单的例子入手,以供参考
需求:从指定网络端口采集数据输出到控制台
首先要安装Flume,其源码是Java,所以先安装JDK(我装的是1.8),Flume解压配置好环境后,检测flume是否安装成功:在bin目录下,比如:/home/apache-flume-1.6.0-cdh5.7.0-bin/bin
输入:flume-ng version
使用flume的关键就是写agent配置文件,需要:
(1) 配置source
(2) 配置channel
(3) 配置sink
(4) 把以上三个组件串起来
实例代码如下:
# example.conf: A single-node Flume configuration
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1