CC00011.pbpositions——|Hadoop&PB级数仓.V03|——|PB数仓.v03|会员活跃度分析|hdfs sink|-CSDN博客

一、日志采集配置：hdfs sink配置

### --- 日志采集配置：hdfs sink配置

a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /user/data/logs/start/%Y-%m-%d/
a1.sinks.k1.hdfs.filePrefix = startlog.
a1.sinks.k1.hdfs.fileType = DataStream

~~~     # 配置文件滚动方式(文件大小32M)

a1.sinks.k1.hdfs.rollSize = 33554432
a1.sinks.k1.hdfs.rollCount = 0
a1.sinks.k1.hdfs.rollInterval = 0
a1.sinks.k1.hdfs.idleTimeout = 0
a1.sinks.k1.hdfs.minBlockReplicas = 1

~~~     # 向hdfs上刷新的event的个数
a1.sinks.k1.hdfs.batchSize = 100

~~~     # 使用本地时间
a1.sinks.k1.hdfs.useLocalTimeStamp = true

### --- HDFS Sink 都会采用滚动生成文件的方式，滚动生成文件的策略有：

~~~     基于时间。hdfs.rollInterval 30秒
~~~     基于文件大小。hdfs.rollSize 1024字节
~~~     基于event数量。hdfs.rollCount 10个event
~~~     基于文件空闲时间。hdfs.idleTimeout 0
~~~     0，禁用
~~~     minBlockReplicas。默认值与 hdfs 副本数一致。
~~~     设为1是为了让 Flume 感知不到hdfs的块复制，
~~~     此时其他的滚动方式配置(时间间隔、文件大小、events数量)才不会受影响