[flume]参数设置

胖胖学编程

已于 2023-02-03 09:30:00 修改

阅读量276

点赞数

分类专栏： flume 文章标签： flume kafka 大数据 Powered by 金山文档

于 2023-01-19 10:31:34 首次发布

本文链接：https://blog.csdn.net/qq_35896718/article/details/128732878

版权

flume 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

kafka source、memory channel、hdfs sink

a1.channels=c1
a1.sinks=k1
a1.sinks.k1.type=hdfs
s1.sinks.k1.channel=c1
s1.sinks.k1.hdfs.path=/user/hive/warehouse/ods.db/ods_flow_ph/dt=%Y-%m-%d/
hdfs.codeC=lzo #设置压缩方式为lzo压缩
#设置滚动方式,共三种
hdfs.rollInterval=120 
hdfs.rollSize=110M
hdfs.rollCount=110000
说明:kafka一天数据如果是1亿条,每条1kb,一天约100G,每秒约1M,128M为120s
滚动的话满足任一条件即可滚动,但是如果设置为128M滚动一次,如果上次是127.9M此时,未满足128M不滚动,但是下次数据来了之后会使数据超过128M,滚动为2块,所以设置的值应该小于128M.

写一个怎么配置的，还有怎么配置拦截器