Flume简易安装和使用

Flume

• Apache Flume是一个分布式、可靠、可用的系统，用于从大量不同的源有效地收集、聚合、移动大量日志数据进行集中式数据存储。

下载

前往官网 http://flume.apache.org/ 下载对应的二进制包即可

上传到Linux服务器 解压

使用以下命令即可解压

tar -zxvf apache-flume-1.9.0-bin.tar.gz

####修改配置文件

• 修改conf目录下面的flume-env.sh文件
• 因为它只有flume-env.sh.template文件，所以使用下面命令先拷贝一份

cp flume-env.sh.template flume-env.sh

• 然后进入文件找到JAVA_HOME，把当前环境的java根目录路径写入
  ####这里测试一个
  在conf下面创建

vim netcat-test.conf

内容为：
分别为 数据源 通道缓存和存储地点的配置

test.sources = source1
test.sinks = sink1
test.channels = channel1

test.sources.source1.type = netcat
test.sources.source1.bind = localhost
test.sources.source1.port = 60000

test.sinks.sink1.type = logger

test.channels.channel1.type = memory
test.channels.channel1.capacity = 1000
test.channels.channel1.transactionCapacity = 100

test.sources.source1.channels = channel1
test.sinks.sink1.channel = channel1
                                   

然后在flume主目录下运行：

bin/flume-ng agent --conf conf/ conf-file --conf/netcat-test.conf --name test -Dflume.root.logger=INFO.console

这时候cmd进入阻塞状态，打开新的窗口 输入：

telnet localhost 60000

然后在接下来的地方输入hello

就可以在原来窗口显示hello

这里表示完成~