本文详细介绍了Flume HDFS Sink的配置，重点解析了hdfs.rollInterval、hdfs.rollSize、hdfs.rollCount、hdfs.minBlockReplicas和hdfs.batchSize如何影响HDFS文件的关闭。当文件关闭并开启新的文件时，这些配置的计数器将重置。hdfs.rollInterval基于时间，hdfs.rollSize与事件总字节数相关，hdfs.rollCount关注事件数量，hdfs.batchSize表示每次写入HDFS的事件数。hdfs.minBlockReplicas设置文件最小复制块数，其优先级高于hdfs.rollSize和hdfs.rollCount，可能导致文件提前关闭。
Flume HDFS Sink配置详解
| Name | Default | Description |
|---|---|---|
| channel | – |
|
| type | – | 组件的名称，必须为：HDFS |
| hdfs.path | – | HDFS目录路径，例如：hdfs://namenode/flume/webdata/ |
| hdfs.filePrefix | FlumeData | HDFS目录中，由Flume创建的文件前缀。 |
| hdfs.fileSuffix | – | 追加到文件的后缀，例如：.txt |
| hdfs.inUsePrefix | – | 文件正在写入时的前缀。 |
| hdfs.inUseSuffix | .tmp |
文件正在写入时的后缀。 |
| hdfs.rollInterval | 30 | 当前写入的文件滚动间隔，默认30秒生成一个新的文件 (0 = 不滚动) |
| hdfs.rollSize | 1024 | 以文件大小触发文件滚动，单位字节(0 = 不滚动) |
最低0.47元/天 解锁文章
扫一扫
1179
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
