Flume学习04 — Sink

最新推荐文章于 2024-05-19 18:23:00 发布

死神的丧钟

最新推荐文章于 2024-05-19 18:23:00 发布

阅读量2.4k

点赞数 2

分类专栏： Flume 文章标签： Flume Sink

本文链接：https://blog.csdn.net/accountwcx/article/details/49252731

版权

Flume提供了大量的Sink，下面主要介绍HDFS Sink、Avro Sink、Thrift Sink、Kafka Sink、HBase Sink。

类型	说明
HDFS Sink	数据写入HDFS。
Logger Sink	数据写入日志文件。
Avro Sink	数据被转换成Avro Event，然后发送到配置的RPC端口上。
Thrift Sink	数据被转换成Thrift Event，然后发送到配置的RPC端口上。
IRC Sink	数据在IRC上进行回放。
File Roll Sink	存储数据到本地文件系统。
Null Sink	丢弃掉所有数据。
HBase Sink	数据写入HBase数据库。
Morphline Solr Sink	数据发送到Solr搜索服务器（集群）。
ElasticSearch Sink	数据发送到Elastic Search搜索服务器（集群）。
Kite Dataset Sink	写数据到Kite Dataset，试验性质的。
Custom Sink	自定义Sink。
Hive Sink	数据写入Hive。
Kafka Sink	把数据写入Kafka Topic中。

HDFS Sink

HDFS Sink直接把Event数据写入Hadoop Distributed File System(HDFS)。HDFS Sink支持输出文本文件（text file）和序列文件（sequence file），同时还可以对数据进行压缩。数据文件可以根据固定时间间隔、文件大小或者Event数据数量创建。HDFS Sink需要Hadoop支持。