大数据技术hadoop核心Flume

大家好，我是曜耀。

这几天曜耀开始复习一下自己的专业课，相信看过的都了解，就是当前热门的大数据技术与应用。我对于这门专业来说，一个特色就是都会，你说Linux我懂，你说java这是基操，python不好意思也会，前端？略懂略懂。hadoop？嗯？这是我们专业的特色不会没人知道吧。还有很多的只要你说的关于程序员的我们大数据专业都知道。如果你们听说过大数据技术与应用，这很正常，这一两年兴起的。

接下来就让我们复习一下Flume这个hadoop的核心之一。

Flume 是一个高可用，高可靠，分布式的海量日志采集、聚合和传输的系统，能够有效的收集、聚合、移

动大量的日志数据。

其实通俗一点来说就是 Flume 是一个很靠谱，很方便、很强的日志采集工具。

他是目前大数据领域数据采集最常用的一个框架。这就是我们大数据用来吃饭的饭碗。

特性

1. 它有一个简单、灵活的基于流的数据流结构，这个其实就是刚才说的 Agent 内部有三大组件，数据通

过这三大组件流动的

2. 具有负载均衡机制和故障转移机制，这个后面我们会详细分析

3. 一个简单可扩展的数据模型 (Source 、 Channel 、 Sink) ，这几个组件是可灵活组合的

Flume 的三大核心组件：

Source ：数据源

Channel ：临时存储数据的管道

Sink ：目的地

Source

Source ：数据源：通过 source 组件可以指定让 Flume 读取哪里的数据，然后将数据传递给后面的

channel

Flume 内置支持读取很多种数据源，基于文件、基于目录、基于 TCP\UDP 端口、基于 HTTP 、 Kafka 的

等等、当然了，如果这里面没有你喜欢的，他也是支持自定义的

在这我们挑几个常用的看一下：

Exec Source ：实现文件监控，可以实时监控文件中的新增内容，类似于 linux 中的 tail -f 效果。

在这需要注意 tail -F 和 tail -f 的区别

tail -F

等同于 –follow=name --retry ，根据文件名进行追踪，并保持重试，即该文件被删除或改名后，如果

再次创建相同的文件名，会继续追踪

tail -f

等同于 –follow=descriptor ，根据文件描述符进行追踪，当文件改名或被删除，追踪停止

在实际工作中我们的日志数据一般都会通过 log4j 记录， log4j 产生的日志文件名称是固定的，每天定

时给文件重命名

假设默认 log4j 会向 access.log 文件中写日志，每当凌晨 0 点的时候， log4j 都会对文件进行重命名，在

access 后面添加昨天的日期，然后再创建新的 access.log 记录当天的新增日志数据。

这个时候如果想要一直监控 access.log 文件中的新增日志数据的话，就需要使用 tail -F

NetCat TCP/UDP Source ： 采集指定端口 (tcp 、 udp) 的数据，可以读取流经端口的每一行数据

Spooling Directory Source ：采集文件夹里新增的文件

Kafka Source ：从 Kafka 消息队列中采集数据

以上就是Flume的知识点。

我是曜耀，下次见。