flume监测文件内容及变化

前言

本篇主要讲解使用flume实现监控文件的办法，会用到flume 的三大类组件。

flume组件	说明
source 组件	指定数据源
channel 组件	作为一个缓存，连接 source 和 sink
sink 组件	指定数据目的地

扩展资料

flume1.9使用手册

一、启动hadoop集群

路径：cd /opt/server/hadoop/bin

二、进入指定路径

1.在flume中新建一个file目录 （放各种配置文件）

（也可以直接到flume的conf目录下进行操作，这里为了更好的区分所以新建了一个目录）

三、编辑配置文件

vim + 文件名.后缀 如果该文件是当前目录下没有的会直接新建并进入到编辑状态下

1.在配置文件中写入内容

2.编辑被监测的文件

只要确保文件有内容存在即可

四、启动flume并查看

启动flume 的命令：flume-ng -n a1 --conf-file monitor-flume.conf -Dflume.root.logger=INFO,console
这里的monitor-flume.conf 是配置文件的名称

1.另起hadoop01的节点

2.在两个节点中来回切换一下即可在终端中查看文件内容

总结

Flume是一个可分布式日志收集系统，Flume最主要的作用：实时读取服务器本地磁盘的数据，将数据写入到HDFS。