RocketMQ Streams：将轻量级实时计算引擎融合进消息系统

随着各行各业移动互联和云计算技术的普及发展，大数据计算已深入人心，最常见的比如 flink、spark 等。这些大数据框架，采用中心化的 Master-Slave 架构，依赖和部署比较重，每个任务也有较大开销，有较大的使用成本。RocketMQ Streams 着重打造轻量计算引擎，除了消息队列，无额外依赖，对过滤场景做了大量优化，性能提升 3-5 倍，资源节省 50%-80%。

RocketMQ Streams 适合大数据量->高过滤->轻窗口计算的场景，核心打造轻资源，高性能优势，在资源敏感场景中有很大优势，最低 1core，1g 可部署，建议的应用场景（安全，风控，边缘计算，消息队列流计算）。

RocketMQ Streams 兼容 Blink(Flink 的阿里内部版本) 的 SQL，UDF/UDTF/UDAF，多数 Blink 任务可以直接迁移成 RocketMQ Streams 任务。将来还会发布和 Flink 的融合版本，RocketMQ Streams 可以直接发布成 Flink 任务，既可以享有 RocketMQ Streams 带来的高性能、轻资源，还可以和现有的 Flink 任务统一运维和管理。

01

什么是RocketMQ Streams？

Aliware

本章节从基础简介、设计思路和特点三方面对 RocketMQ Streams 进行整体介绍。

01

RocketMQ Streams 简介

1）它是一个 Lib 包，启动即运行，和业务直接集成；

2）它具备 SQL 引擎能力，兼容 Blink SQL 语法，兼容 Blink UDF/UDTF/UDAF；

3）它包含 ETL 引擎，可以无编码实现数据的 ETL、过滤和转存；

4）它基于数据开发 SDK，大量实用组件可直接使用，如：Source、sink、script、filter、lease、scheduler、configurable 不局限流的场景。

02

RocketMQ Streams 的特点

RocketMQ streams 基于上述的实现思路，可以看到它有以下几个特点：

• 轻量

1 核 1g 就可以部署，依赖较轻，在测试场景下用 Jar 包直接写个 main 方法就可以运行，在正式环境下最多依赖消息队列和存储（其中存储是可选的，主要是为了分片切换时的容错）。

• 高性能

实现高过滤优化器，包括前置指纹过滤，同源规则自动归并，hyperscan 加速，表达式指纹等，比优化前性能提升 3-5 倍，资源节省 50%以上。

• 维表 JOIN（千万数据量维表支持）

设计高压缩内存存储数据，无 java 头部和对齐的开销，存储接近原始数据大小，纯内存操作，性能最大化，同时对于 Mysql 提供了多线程并发加载，提高加载维表的速度。

• 高扩展的能力

1）Source 可按需扩展，已实现：RocketMQ，File，Kafka；

2）Sink 可按需扩展，已实现：RocketMQ，File，Kafka，Mysql，ES；

3）可按 Blink 规范扩展 UDF/UDTF/UDAF；

4）提供了更轻的 UDF/UDTF 扩展能力，不需要任何依赖就可以完成函数的扩展。

• 提供了丰富的大数据的能力

包括精确计算一次灵活的窗口，双流 join，统计，开窗，各种转换过滤，满足大数据开发的各种场景，支持弹性容错的能力。

02

RocketMQ Streams的使用

Aliware

RocketMQ Streams 对外提供两种 SDK，一种是 DSL SDK，一种是 SQL SDK，用户可以按需选择；DSL SDK 支持实时场景 DSL 语义；SQL SDK 兼容 Blink(Flink 的阿里内部版本) SQL 的语法，多数 Blink SQL 可以通过 RocketMQ Streams 运行。

接下来，我们详细的介绍一下这两种 SDK。

01

环境要求</