flume hdfs sink 配置

flume里关于hdfs的sink配置:

属性描述
typehdfs
pathhdfs的路径,需要包含文件系统标识,比如:hdfs://flume/events/dt=%y-%m-%d
filePrefix默认值:FlumeData,写入hdfs的文件名前缀
fileSuffix写入 hdfs 的文件名后缀,比如:.lzo .log等
inUsePrefix临时文件的文件名前缀
inUseSuffix默认值:.tmp,临时文件的文件名后缀
rollInterval默认值:30:hdfs sink 间隔多长将临时文件滚动成最终目标文件,单位:秒.如果设置成0,则表示不根据时间来滚动文件
rollSize默认值:1024:当临时文件达到多少(单位:bytes)时,滚动成目标文件;如果设置成0,则表示不根据临时文件大小来滚动文件
rollCount默认值:10:当 events 数据达到该数量时候,将临时文件滚动成目标文件;如果设置成0,则表示不根据events数据来滚动文件
idleTimeout默认值:0:当目前被打开的临时文件在该参数指定的时间(秒)内,没有任何数据写入,则将该临时文件关闭并重命名成目标文件
batchSize默认值:100:每个批次刷新到 HDFS 上的 events 数量
codeC文件压缩格式,包括:gzip, bzip2, lzo, lzop, snappy
fileType默认值:SequenceFile,文件格式,包括:SequenceFile, DataStream,CompressedStream
maxOpenFiles默认值:5000:最大允许打开的HDFS文件数,当打开的文件数达到该值,最早打开的文件将会被关闭
minBlockReplicas默认值:HDFS副本数,写入 HDFS 文件块的最小副本数
writeFormat写 sequence 文件的格式。包含:Text, Writable(默认)
callTimeout默认值:10000,执行HDFS操作的超时时间(单位:毫秒)
threadsPoolSize默认值:10,hdfs sink 启动的操作HDFS的线程数
rollTimerPoolSize默认值:1,hdfs sink 启动的根据时间滚动文件的线程数
kerberosPrincipalHDFS安全认证kerberos配置
kerberosKeytabHDFS安全认证kerberos配置
proxyUser代理用户
round默认值:false,是否启用时间上的”舍弃”
roundValue默认值:1,时间上进行“舍弃”的值
roundUnit默认值:seconds,时间上进行”舍弃”的单位,包含:second,minute,hour
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值