Flume Sink配置

本文介绍了Flume的几种Sink配置,包括Logger Sink用于调试,File Roll Sink在本地存储事件,HDFS Sink将数据写入HDFS,Avro Sink支持复杂流动。同时,详细讲解了配置参数,如directory、hdfs.path、fileType等,并举例说明了多级流动的配置方式。
摘要由CSDN通过智能技术生成

Logger Sink

记录指定级别的日志,通常用于调试。

# 配置sink

a1.sinks.k1.type = logger(组件的类型名称,必须配置为Logger)

File Roll Sink

在本地文件系统中存储事件。每隔指定时长生成文件保存这段时间内收集到的日志信息。

a1.sinks.k1.type = file_roll(组件的名称,必须配置为file_roll)

a1.sink.k1.directory = path (存储文件的目录的路径)

HDFS Sink

此Sink将事件写入到Hadoop分布式文件系统HDFS中,目前它支持创建文本文件和序列化文件。对这两种格式都支持压缩。

使用这个Sink要求hadoop必须已经安装好,以便Flume可以通过hadoop提供的jar包与HDFS进行通信。此版本hadoop必须支持sync()调用。

 #配置sink

a1.sinks.k1.type = hdfs(组件名称,必须配置为HDFS

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值