Flume学习笔记(二)Flume 常用组件
前言
上一篇介绍了 Flume 整体的组成架构,这一篇来整理一下一些较为常用的 Source,Sink,Channel
Source
网络流 Source
Flume 可以通过监听特定的端口来获取数据,以下三个是较为常用的网络流 Srouce
-
Avro Source
Avro Source 监听指定端口,通过 RPC 的方式来获取数据,Avro 本身在大批量的数据传输过程中有良好的表现。在实际应用中可以使用 Avro Source 和 Avro Sink 来连接多个 Flume 以传输数据。
-
Thrift Source
Thrift Source 也是通过监听指定端口然后使用 RPC 的方式来获取数据,与 Avro Source 有些类似,此外其支持 kerberos 认证,具有更高的安全性。
-
NetCat Source
与上述的 Source 功能类似,同样是通过监听一个端口来获取数据, NetCat 在实际应用中较多且测试非常方便。
本地文件 Source
除了网络流之外,Flume 还能监听本地文件的变化,当被监听的文件或文件夹添加了新内容时 Flume 能将这些内容获取并发送至目的地。
-
Exec Source
Exec Source 可以执行一条特点的命令来监控文件的内容状况,如 tail -F [file] 这样就能实时的监