前言
最近在阅读Flink官网的时候,阅读到Storm Compatibility Beta章节,就是Flink可以无缝兼容Storm。
- 在Flink执行一个完整的Storm拓扑;
- 在Flink流程序中使用Storm的Spout/Bolt作为数据源/操作器。
对于Storm的一些基本概念不懂的同学,还是有必要先熟悉了解下Storm的基本概念。
Storm基本元素
storm分布式计算结构称为topology(拓扑)由stream,spout,bolt组成。
spout代表一个storm拓扑中的数据入口,连接到数据源,将数据转化为一个个tuple,并发射tuple。
stream是由无限制个tuple组成的序列。tuple为storm的核心数据结构,是包含了一个或多个键值对的列表。
bolt可以理解为计算程序中的运算或者函数,bolt的上游是输入流,经过bolt实施运算后,可输出一个或者多个输出流。
bolt可以订阅多个由spout或者其他bolt发射的数据流,用以构建复杂的数据流转换网络。