Flume学习笔记（二）Flume 常用组件

Flume学习笔记（二）Flume 常用组件

前言

​ 上一篇介绍了 Flume 整体的组成架构，这一篇来整理一下一些较为常用的 Source，Sink，Channel

Source

网络流 Source

​ Flume 可以通过监听特定的端口来获取数据，以下三个是较为常用的网络流 Srouce

• Avro Source

  Avro Source 监听指定端口，通过 RPC 的方式来获取数据，Avro 本身在大批量的数据传输过程中有良好的表现。在实际应用中可以使用 Avro Source 和 Avro Sink 来连接多个 Flume 以传输数据。

• Thrift Source

  Thrift Source 也是通过监听指定端口然后使用 RPC 的方式来获取数据，与 Avro Source 有些类似，此外其支持 kerberos 认证，具有更高的安全性。

• NetCat Source

  与上述的 Source 功能类似，同样是通过监听一个端口来获取数据， NetCat 在实际应用中较多且测试非常方便。

本地文件 Source

​ 除了网络流之外，Flume 还能监听本地文件的变化，当被监听的文件或文件夹添加了新内容时 Flume 能将这些内容获取并发送至目的地。

• Exec Source

  Exec Source 可以执行一条特点的命令来监控文件的内容状况，如 tail -F [file] 这样就能实时的监