实时流式处理平台功能介绍

最新推荐文章于 2024-09-16 14:26:58 发布

敏捷大数据

最新推荐文章于 2024-09-16 14:26:58 发布

阅读量7.4k

点赞数 1

分类专栏：流式处理敏捷大数据

本文链接：https://blog.csdn.net/weixin_41608840/article/details/81062531

版权

Wormhole是一个实时流式处理平台，提供流式处理、平台管理、数据质量、数据安全和运维监控等功能。核心的流式处理包括解析、转换和写入，支持多种消息协议和数据处理逻辑。在数据质量方面，确保数据一致性、异常反馈和端到端比对。数据安全通过权限控制、数据隔离和脱敏加密来保障。运维监控具备实时动态管理和性能监控等能力。

摘要由CSDN通过智能技术生成

作者：赵平

导读：在上一篇Wormhole系列文章中，我们介绍了Wormhole的设计思想，并给出了Stream、UMS、Flow、Namespace等相关概念的具体定义，从文章中我们得知，Wormhole作为实时流式处理平台，其设计思想最终是为流上处理数据而服务的。在本文中，我们主要从Wormhole的功能设计入手，重点介绍Wormhole所支持的几个基本功能。

Wormhole支持的功能很多，如下图所示，除了流式数据处理，Wormhole在管理和运维等方面也做的比较完善。下面我们从流式处理、平台管理、数据质量、数据安全以及运维监控五个维度来介绍Wormhole的具体功能。

这里写图片描述

一、流式处理

Wormhole的核心是流式处理，并将流式处理抽象为Flow（流式处理逻辑管道，具体参见：#Wormhole# 流式处理平台设计思想）。Flow的引入，使得一个Spark Streaming上可以跑不同的处理逻辑，也就是多个Flow可以在一个Spark Streaming上同时执行而互不影响。这种异构逻辑的并行处理大大提高了资源利用率，也提高了流式处理的易用性。
这里写图片描述
如上图所示，Flow从处理过程角度分为解析、转换、写入三个过程，具体如下：

1、解析

Flow支持多种消息协议，UMS和用户自定义JSON两种消息协议：

UMS
UMS是Flow支持的标准消息协议，在设计思想的文章中有介绍，这里不再介绍。（参见：#Wormhole# 流式处理平台设计思想）
自定义JSON
开源后，为了适配用户已有系统的数据格式需求，Flow开始支持用户自定义JSON消息协议，使用也比较方便简单，只要在页面贴一个JSON消息例子，就会自动解析，然后通过点击配置即可完成自定义JSON的Schema的定义。