数据生态第三弹 | RocketMQ OpenMLDB Connector，实时数据到特征工程的高速传输

导读：
基于真实的企业业务场景，将线上实时数据更好更快地转化为 AI 可用特征是加速人工智能落地的有效路径之一。因此，OpenMLDB 积极打通数据生态上游，继面向实时消息队列 Pulsar、分布式流处理平台 Kafka 的两款 connector 发布后，OpenMLDB 和 RocketMQ 合作推出 RocketMQ OpenMLDB Connector，助力实时数据到特征工程的高速传输，加速人工智能工程化落地。
未来 OpenMLDB 社区也将推出面向 Flink 的 connector，为开发者提供丰富的实时数据生态，为各类应用场景赋予高效特征工程能力。

为什么选择 RocketMQ OpenMLDB Connector

为了使 OpenMLDB 与 RocketMQ 拥有高效稳定的传输通道，RocketMQ OpenMLDB connector 具有诸多优秀特性，包括但不限于：
• 易上手。无需编写任何代码，只需进行简单配置，便可通过 RocketMQ OpenMLDB Connector 将 RocketMQ 的消息流入 OpenMLDB 。简化的数据导入过程能大幅提升企业数据的有效使用率。
• 易部署。能够根据不同场景的实际业务需求，选择在单机或集群上运行 RocketMQ OpenMLDB Connector ，助力企业构建实时数据管道。
• 高可靠。RocketMQ OpenMLDB Connector 集群部署的方式具备 Failover 能力，可以将有问题节点的任务调度到正常节点并保证集群负载均衡，使企业能更专注和更高效地探索数据的商业价值。
• 低延时。秒级延迟，满足实时数据及特征开发场景。

RocketMQ OpenMLDB Connector

Connector 概述

定位

RocketMQ Connect 是 RocketMQ 数据集成重要组件，它具备具有低延时，可靠性，高性能，低代码，扩展性强等特点，可以实现各种异构数据系统的连接，构建数据管道，ETL，CDC，数据湖等能力。RocketMQ OpenMLDB Connector 是一个用于在 RocketMQ 和 OpenMLDB 之间可扩展的、可靠的流式传输数据的工具。让 RocketMQ 及 RocketMQ connect 生态组件导入数据到 OpenMLDB 变得简单。

功能

可以使 RocketMQ 的消息流入 OpenMLDB 在线存储。

Connector 插件编译

RocketMQ OpenMLDB Connector

$ git clone git@github.com:apache/rocketmq-connect.git
$ cd rocketmq-connect/connectors/rocketmq-connect-jdbc/
$ mvn clean package -Dmaven.test.skip=true

最终将编译好的插件包放在 RocketMQ connect 指定的加载地址。

Connector 演示

流程介绍 RocketMQ OpenMLDB Connector 用于 OpenMLDB 线上模式的实时数据流接入。使用 connector 的简要流程，如下图所示。我们接下来将详细介绍每一步。整体上，使用流程可以概括为四步：
• 启动 OpenMLDB 并创建数据库
• 启动 RocketMQ 并创建 topic
• 启动 RocketMQ OpenMLDB Con