Wormhole大数据流式处理平台五大功能

导读：在上一篇文章「Wormhole 大数据流式处理平台之设计思想」中，我们介绍了Wormhole的设计思想，并给出了Stream、UMS、Flow、Namespace等相关概念的具体定义，从文章中我们得知，Wormhole作为实时流式处理平台，其设计思想最终是为流上处理数据而服务的。在本文中，我们主要从Wormhole的功能设计入手，重点介绍Wormhole所支持的几个基本功能。

Wormhole支持的功能很多，如图1所示，除了流式数据处理，Wormhole在管理和运维等方面也做的比较完善。下面我们从流式处理、平台管理、数据质量、数据安全以及运维监控五个维度来介绍Wormhole的具体功能。

[外链图片转存失败(img-QtYCJ7PG-1562657714024)(http://college.creditease.cn/resources/upload/image/20180716/1531724947458077102.png)]

一、流式处理

Wormhole的核心是流式处理，并将流式处理抽象为Flow（流式处理逻辑管道，具体参见：#Wormhole# 流式处理平台设计思想）。Flow的引入，使得一个Spark Streaming上可以跑不同的处理逻辑，也就是多个Flow可以在一个Spark Streaming上同时执行而互不影响。这种异构逻辑的并行处理大大提高了资源利用率，也提高了流式处理的易用性。

[外链图片转存失败(img-jjkROM3Y-1562657714025)(http://college.creditease.cn/resources/upload/image/20180716/1531724983258085430.png)]

如图2所示，Flow从处理过程角度分为解析、转换、写入三个过程，具体如下：

1.1 解析

Flow支持多种消息协议，UMS和用户自定义JSON两种消息协议：

• UMS

UMS是Flow支持的标准消息协议，在设计思想的文章中有介绍，这里不再介绍。（参见&#x