超级会员免费看
本文介绍了流式数据处理的基础，包括Flume的可靠性、可恢复性和组件，Kafka的特性、组件及日志过程，以及Storm的相关组件和任务提交过程。Flume是一个分布式日志采集系统，Kafka是高吞吐量的分布式消息系统，Storm则是一个实时计算系统，三者在大数据实时处理中发挥关键作用。
Flume
官方guide：http：//flume.apache.org/FlumeUserGuide.html
flume是一个分布式、可靠、高可用的海量日志采集、聚合、传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。
Flume的可靠性
当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：
end-to-end： 收到数据agent首先将event写到磁盘上，当数据传送成功后，再删除；如果数据发送失败，可以重新发送。
Store on failure： 这也是scribe采用的策略&#x
订阅专栏 解锁全文
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
