#Wormhole# （开源）流式处理平台设计思想

作者：赵平

---

导读：互联网的迅猛发展使得数据不再昂贵，而如何从数据中更快速获取价值变得日益重要，因此，数据实时化成为了一个大趋势。越来越多的业务场景需要实时分析，以极低的延迟来分析实时数据并给出分析结果，从而提高业务效率，带来更高价值。流式处理作为实时处理的一种重要手段，正在因数据实时化的发展而蓬勃发展。本文是敏捷大数据（Agile BigData）背景下的实时流式处理平台Wormhole的开篇介绍。Wormhole具体是一个怎样的平台呢？一起来看一下吧！

一、Wormhole背景介绍

在流式计算领域，越来越多成熟的技术框架出现在开源世界，如Storm、Heron、Spark、Samza、Flink、Beam等。流式技术也逐步进化发展，支持流上丰富计算语法（类SQL）、支持at least once或exactly once语义、支持高可靠高可用、支持高吞吐低延迟、支持基于事件时间计算、支持统一整合接入抽象等，这些都从不可能变为可能。

然而，虽然流式处理的技术已经很丰富，流式处理在企业中的实施仍然存在较大难度，主要原因是成本高，需求上线周期长等，而产生这样问题的原因又分两个方面，一是企业组织结构，二是技术。

传统数据仓库和BI的组织结构都是集中相关技术人员成立独立大数据部门，各个业务部门向其提需求，做定制化开发。

上图（企业组织结构）中，大数据部门不仅仅做大数据环境运维，还做定制化开发和线上业务维护。恰恰这两点会消耗大量的人力，也增加了管理和沟通成本。举一个需求开发的例子，如下图：

上图是企业普遍使用的一个开发流程，这里边就反应出一些问题：

• 人力成本高

从此图可以看出，至少需要3个角色的人员才能完成一个需求，而且流式开发人员要花很多时间了解需求、业务、表结构等等<