在Flume 配置中，Sink的参数batchSize会影响到整个流程的性能。比如说HDFS sink，它的参数称hdfs.batchSize，这样称呼是由于历史的原因，建议使用hdfs.txnEvenMax。 在sink端调优批量值设置，它依赖于相应的隧道（channel）的事务容量。sink端的批量大小应该小于或者等于channel端的事务容量，而事务容量应该设置为实际需要的最大值（channel端）。下列列举了一下优化的sink批量参数值设置。
| 槽类型（Sink Type） | 配置参数（Config parameter） | 类型值（Typical value） |
| Avro | batch-size | 100 |
| HDFS | hdfs.batchSize, hdfs.txnEventMax | 1000 |
| HBaseSink | batchSize | 100 |
| AsyncHBaseSink | batchSize | 100 |
999
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
