本文对比了Apache Storm、Spark Streaming和Samza这三种实时大数据处理框架。Storm通过拓扑结构进行实时计算，消息传递为tuple形式；Spark Streaming采用微批处理的DStream，数据抽象为RDD；Samza则按消息处理，依赖Kafka和Yarn。三种框架都具备低延迟、可扩展性和容错性，提供了分布式并行运行任务的API。
许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。
一. Apache Storm
在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）
这个拓扑将会被提交给集群，由集群中的主控节点（master node）分发代码，将任务分配给工作节点（worker node）执行。
一个拓扑中包括spout和bolt两种角色，其中spout发送消息，负责将数据流以tuple元组的形式发送出去；而bolt则负责转换这些数据流，在bolt中可以完成计算、过滤等操作，bolt自身也可以随机将数据发送给其他bolt。由spout发射出的tuple是不可变数组，对应着固定的键值对。
二. Apache Spark
Spark Streaming是核心Spark API的一个扩展，它并不会像Storm那样一次一个地处理数据流，而是在处理前按时间间隔预先将其切分为一段一段的批处理作业。
Spark针对持续性数据流的抽象称为DStream（DiscretizedStream&
最低0.47元/天 解锁文章
1689
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
