58 集团大规模 Storm 任务平滑迁移至 Flink 的秘密

Flink-Storm 是 Flink 官方提供的用于 Flink 兼容 Storm 程序 beta 工具，并且在 Release 1.8 之后去掉相关代码。本文主要讲述 58 实时计算平台如何优化 Flink-Storm 以及基于 Flink-Storm 实现真实场景下大规模 Storm 任务平滑迁移 Flink。

背景

58 实时计算平台旨在为集团业务部门提供稳定高效实时计算服务，主要基于 Storm 和 Spark Streaming 构建，但在使用过程中也面临一些问题，主要包括 Storm 在吞吐量不足以及多集群带来运维问题，Spark Streaming 又无法满足低延迟的要求。Apache Flink 开源之后，其在架构设计、计算性能和稳定性上体现出的优势，使我们决定采用 Flink 作为新一代实时计算平台的计算引擎。同时基于 Flink 开发了一站式高性能实时计算平台 Wstream，支持 Flink jar，Stream Sql，Flink-Storm 等多样化任务构建方式。

在完善 Flink 平台建设的同时，我们也启动 Storm 任务迁移 Flink 计划，旨在提升实时计算平台整体效率，减少机器成本和运维成本。

Storm vs Flink

尽管 Flink 作为高性能计算引擎可以很好兼容 Storm，但在业务迁移过程中，我们仍然遇到了一些问题：

1 .用户对 Flink 的学习成本；

1. 重新基于 Flink 开发耗费工作量；
2. Stream-S