项目经验之 Flume 组件选型

1. FileChannel 和 MemoryChannel 区别

MemoryChannel 传输数据速度更快，但因为数据保存在 JVM 的堆内存中，Agent 进程挂掉会导致数据丢失，适用于对数据质量要求不高的需求。

FileChannel 传输速度相对于 Memory 慢，但数据安全保障高，Agent 进程挂掉也可以从

失败中恢复数据。选型：

金融类公司、对钱要求非常准确的公司通常会选择 FileChannel 传输的是普通日志信息（京东内部一天丢 100 万-200 万条，这是非常正常的），通常

选择 MemoryChannel。

1. FileChannel 优化

通过配置 dataDirs 指向多个路径，每个路径对应不同的硬盘，增大 Flume 吞吐量。