flume的Source(数据源)

最新推荐文章于 2025-08-26 16:06:27 发布

原创

最新推荐文章于 2025-08-26 16:06:27 发布 · 6k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#大数据

本文详细介绍了Apache Flume的六种数据源类型：Avro、Exec、Spooling Directory、NetCat、Sequence Generator和HTTP，包括每种数据源的工作原理、配置示例和使用场景。Avro Source用于接收Avro客户端的事件流，Exec Source处理命令输出，Spooling Directory监视指定目录的文件，NetCat Source监听端口接收数据，Sequence Generator生成序列事件，HTTP Source接受HTTP请求作为事件。

source学习网址：
http://flume.apache.org/FlumeUserGuide.html

一、Avro类型的Source

监听Avro 端口来接收外部avro客户端的事件流。和netcat不同的是，avro-source接收到的是经过avro序列化后的数据，然后反序列化数据继续传输。所以，如果是avro-source的话，源数据必须是经过avro序列化后的数据。而netcat接收的是字符串格式。
利用Avro source可以实现多级流动、扇出流、扇入流等效果。另外，也可以接收通过flume提供的avro客户端发送的日志信息。
Avro Source课配选项说明
在这里插入图片描述
实现步骤：
1.修改配置文件，source的type属性为avro
2.根据指定的配置文件启动flume
格式代码，template-avro.conf为例子：
#配置Agent a1 的组件
a1.sources=r1
a1.channels=c1
a1.sinks=s1