Spark、Strom、Flink和Beam的技术选型

Spark streaming、Storm、Flink和Beam都是开源的分布式系统，具有低延迟、可扩展和容错性诸多优点，允许你在运行数据流代码时，将任务分配到一系列具有容错能力的计算机上并行运行,都提供了简单的API来简化底层实现的复杂程度。

Storm

Storm中的核心抽象是“stream”。流是无限制的元组序列。Storm提供了用于以分布式且可靠的方式将流转换为新流的原语。例如，可以将推文流转换为趋势主题流。

Storm为进行流转换提供的基本原语是“spouts”和“bolts”。spouts和bolts具有您实现的接口，以运行特定于应用程序的逻辑。

spout是流的源头。例如，spout可能会从Kestrel队列中读取元组并将其作为流发出。或者，spout可能会连接到Twitter API并发出一连串推文。

bolt消耗任何数量的输入流，进行一些处理，并可能发出新的流。复杂的流转换，就像从一条推文流中计算趋势主题流一样，需要多个步骤，因此需要多个步骤。bolt可以执行任何功能，包括运行功能，过滤元组，进行流聚合，进行流联接，与数据库对话等等。

spout和bolt网络打包成一个“拓扑”，这是提交给Storm集群以执行的顶层抽象。拓扑是流转换的图形，其中每个节点都是spout和bolt。图中的边缘指示哪些bolt正在订阅哪些流。当spout或bolt向流中发送元组时，它将元组发送给订阅该流的每个bolt。