Linux如何使用flume实现监控文件

如何在linux上实现文件监控，我们需要使用flume来进行实现

一、我们需要使用flume

1、打开flume网站

Flume 1.9用户手册中文版 — 可能是目前翻译最完整的版本了https://flume.liyifeng.org/#exec-source1.1在配置文件之前我们需要了解一下flume

Flume 是 Cloudera 提供的一种高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。
Flume 最主要的作用是，实时读取服务器本地磁盘的数据，将数据写到 HDFS。

1.2 Flume 基础架构

Source
  Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型、各种格式的日志数据，包括 avro、thrif、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。

Sink
  Sink 不断地轮询 Channel 中的事件且批量移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个 Flume Agent。
  Sink 组件的目的地包括 hdfs、logger、avro、thrif、file、HBase、solr、自定义。

Channel
  Channel 是位于 Source 和 Sink 之间的缓冲区。因此，Channel 允许 Source 和 Sink 运作在不同的速率上。Channel 是线程安全的，可以同时处理几个 Source 的写入操作和几个 Sink 的读取操作。
  Flume 常用的 Channel：Memory Channel 和 File Channel。

2、我们需要到网站里分别找source,channel.sink的三个配置文件将他组合起来

Exec Source

Spillable Memory Channel

Logger Sink

这里我使用的是这三个配置文件

二、创建配置文件

1.1为了更直观的展现自己使用了那几个组件，我们可以使用这三个组件的名字来命名

1.2 将自己组合的那三个配置复制到配置文件里面

1.3 对文件进行配置修改，重复的删掉，对代码位置修改

2、创建要对其进行监控的文件

3、重新进入配置文件里面进行参数更改

三、启动配置文件

画线的部分要改为配置文件的名字

1、启动成功的状况

2、打开yy.txt，在里面添加内容

3、保存退出，再查看启动后的代码

最后会显示刚刚在yy.txt里面输入的内容，到这里就实现监控文件了，当然这是最简单的监控，更深的做法等着你去发现！！