导读:
基于真实的企业业务场景,将线上实时数据更好更快地转化为 AI 可用特征是加速人工智能落地的有效路径之一。因此,OpenMLDB 积极打通数据生态上游,继面向实时消息队列 Pulsar、分布式流处理平台 Kafka 的两款 connector 发布后,OpenMLDB 和 RocketMQ 合作推出 RocketMQ OpenMLDB Connector,助力实时数据到特征工程的高速传输,加速人工智能工程化落地。
未来 OpenMLDB 社区也将推出面向 Flink 的 connector,为开发者提供丰富的实时数据生态,为各类应用场景赋予高效特征工程能力。
为什么选择 RocketMQ OpenMLDB Connector
为了使 OpenMLDB 与 RocketMQ 拥有高效稳定的传输通道,RocketMQ OpenMLDB connector 具有诸多优秀特性,包括但不限于:
• 易上手。无需编写任何代码,只需进行简单配置,便可通过 RocketMQ OpenMLDB Connector 将 RocketMQ 的消息流入 OpenMLDB 。简化的数据导入过程能大幅提升企业数据的有效使用率。
• 易部署。能够根据不同场景的实际业务需求,选择在单机或集群上运行 RocketMQ OpenMLDB Connector ,助力企业构建实时数据管道。
• 高可靠。RocketMQ OpenMLDB Connector 集群部署的方式具备 Failover 能力,可以将有问题节点的任务调度到正常节点并保证集群负载均衡,使企业能更专注和更高效地探索数据的商业价值。
• 低延时。秒级延迟,满足实时数据及特征开发场景。
RocketMQ OpenMLDB Connector
Connector 概述
定位
RocketMQ Connect 是 RocketMQ 数据集成重要组件,它具备具有低延时,可靠性,高性能,低代码,扩展性强等特点,可以实现各种异构数据系统的连接,构建数据管道,ETL,CDC,数据湖等能力。RocketMQ OpenMLDB Connector 是一个用于在 RocketMQ 和 OpenMLDB 之间可扩展的、可靠的流式传输数据的工具。让 RocketMQ 及 RocketMQ connect 生态组件导入数据到 OpenMLDB 变得简单。
功能
可以使 RocketMQ 的消息流入 OpenMLDB 在线存储。
Connector 插件编译
RocketMQ OpenMLDB Connector
$ git clone git@github.com:apache/rocketmq-connect.git
$ cd rocketmq-connect/connectors/rocketmq-connect-jdbc/
$ mvn clean package -Dmaven.test.skip=true
最终将编译好的插件包放在 RocketMQ connect 指定的加载地址。
Connector 演示
流程介绍 RocketMQ OpenMLDB Connector 用于 OpenMLDB 线上模式的实时数据流接入。使用 connector 的简要流程,如下图所示。我们接下来将详细介绍每一步。整体上,使用流程可以概括为四步:
• 启动 OpenMLDB 并创建数据库
• 启动 RocketMQ 并创建 topic
• 启动 RocketMQ OpenMLDB Con