flume连接kafka_Flume体系结构

Flume是一个分布式、可靠和可用的服务，可以有效的收集、聚合和传输大量的日志数据。

它是一个基于数据流的简单而灵活的架构，有着健壮的可靠性、容错可调机制、故障转移和恢复机制。

可以在线实时的分析数据。

FlumeOG 和 FlumeNG

Flume0.9.x

Flume1.x

NG相对于OG的优点

•大大降低了对用户的要求，如核心组件的变化使得 Flume 的稳定使用不再依赖zookeeper，用户无需去搭建 zookeeper 集群；另外用户也不再纠结于 OG 中的模糊概念(尤其是 physicalnodes、logical nodes，agent、collector)。••有利于 Flume和其他技术、hadoop周边组件的整合，比如在NG 版本中，Flume 轻松实现了和jdbc、hbase的集成。

•将 OG 版本中复杂、大规模、不稳定的标签移除，Flume实现了向灵活、轻便的转变，而且在功能上更加强大、可扩展性更高，这一点主要表现在用户 使用 Flume 搭建日志收