精彩联动 | OpenMLDB Pulsar Connector原理和实操

人工智能工程化落地的关键点之一，在于解决真实业务场景的实时批量预估和实时模型更新问题。更好更快的将线上实时数据转化为AI可用的特征，将加速AI应用落地的效率及效果。为此，OpenMLDB 和 Apache Pulsar 合作推出OpenMLDB Pulsar Connector，实现稳定的流式集成，为高效打通实时数据到特征工程提供一条值得期待的清晰路径。

关于OpenMLDB

OpenMLDB 是一个开源机器学习数据库，致力于闭环解决 AI 工程化落地的数据治理难题。自 2021 年 6 月开源以来，OpenMLDB 优先开源了特征数据治理能力，依托 SQL 的开发能力，为企业提供全栈功能的、低门槛特征数据计算和管理平台。

OpenMLDB 包含 Feature Store 的全部功能，并且提供更为完整的 FeatureOps 全栈方案。除了提供特征存储功能，还具有基于 SQL 的低门槛数据库开发体验、面向特征计算优化的 OpenMLDB Spark 发行版，针对实时特征计算优化的索引结构，特征上线服务、企业级运维和管理等功能，让特征工程开发回归于本质——专注于高质量的特征计算脚本开发，不再被工程化效率落地所羁绊。

关于Apache Pulsar

Apache Pulsar 是下一代云原生消息流平台，在 2018 年 9 月毕业成为 Apache 软件基金会顶级项目。从 2012 年诞生时，Apache Pulsar 就前瞻性地采用了存储计算分离、分层分片的云原生架构，极大减轻用户在消息系统中遇到的扩展和运维困难。

Pulsar 通过特别的设计和抽象，统一地支持 Stream 和 Queue 两种消息消费模式，保持了 Stream 模式的高性能和 Queue 模式的灵活性。Pulsar 在保证大数据消息系统的性能和吞吐量的同时，提供了更多企业级的 Feature，包括方便的运维和扩展、灵活的消息模型、多语言 API、多租户、异地多备、数据的强持久性一致性等等，解决了现有开源消息系统的很多不足之处。同时，这种设计对容器非常友好，使得 Pulsar 成为流原生平台的理想选择。

OpenMLDB-Pulsar Connector

【Connector概述】

1. 定位

OpenMLDB Pulsar Connector，高效打通实时数据到特征工程，大幅提升数据使用效率、助力开发者构建实时数据管道、使企业更专注和更高效的探索数据的商业价值。
在 Pulsar in OpenMLDB 的工作流中，Connector（位置如下图所示）帮助开发者轻松地将消息系统 Pulsar 与开源机器学习数据库 OpenMLDB 结合使用，面向机器