![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
大数据玩家
致力于大数据源码研究、底层原理研究!
展开
-
flume sink kafka多分区写数据
1.项目背景 Flume向kafka发布数据时,发现kafka接收到的数据总是在一个partition中,而我们希望发布来的数据在所有的partition平均分布。2.原理 Flume的官方文档是这么说的:KafkaSinkusesthetopicandkeypropertiesfromtheFlumeEventheadersto...原创 2019-05-10 11:59:01 · 979 阅读 · 0 评论 -
flume写入hdfs参数详解以及很多小文件问题
Flume中的HDFS Sink应该是非常常用的,其中的配置参数也比较多,在这里记录备忘一下。一、参数配置详解type hdfspath 写入hdfs的路径,需要包含文件系统标识,比如:hdfs://namenode/flume/webdata/ 可以使用flume提供的日期及%{host}表达式。...原创 2019-06-26 18:49:26 · 2572 阅读 · 2 评论