Dolphin：面向营销场景的超融合多模智能引擎

1. 背景

为提升易用性和降低使用成本，大数据技术逐步向Serverless、一体化和智能化方向发展。为了更好的提升客户投放效率和效果，阿里妈妈自研了超融合多模智能引擎Dolphin（以下简称“Dolphin”）。其最初定位解决通用OLAP（OLAP全称Online Analytical Processing）在圈人场景计算性能问题，历经5年的技术发展与沉淀，目前已形成覆盖OLAP、AI、Streaming和Batch四大方向的智能超融合引擎，提供针对营销场景投前、投中、投后全链路的广告主工具和算法策略迭代。本文结合近年来营销场景生态发展梳理了Dolphin引擎技术演进过程，欢迎阅读交流。

投放场景

Dolphin通过统一开放的技术架构，提供智能超融合一体化使用体验，实现使用Dolphin SQL就可以连接异构计算和存储引擎，屏蔽复杂的底层技术，通过Dolphin SQL解决业务场景下各类问题，实现业务逻辑和底层技术解耦，提供一体化高效的开发能力。

1.1 Dolphin引擎技术业务大图

阿里妈妈营销场景复杂多样，包括达摩盘、搜索广告直通车和展示广告引力魔方等产品，用户规模和数据规模都是业界Top级别，Dolphin引擎经过多年发展沉淀两方面核心价值：

• 性能价值：解决超大规模场景下通用引擎无法解决的性能问题。

• 效能价值：降低通用引擎的使用成本甚至做到对用户透明无感知，从而提升开发迭代效能。

下图是Dolphin引擎相关技术和业务大图，主要分为商家端营销场景、极光（阿里妈妈交互式研发和服务平台）、Dolphin引擎和计算存储层四个部分。

Dolphin超融合多模引擎技术业务大图

2. Dolphin内核能力

Dolphin引擎最初源于OLAP计算场景，在MPP计算引擎基础之上构建，核心能力有五个方面，包括自研引擎、SQL引擎模块、Index Build引擎模块、智能计算和一写多读能力。

2.1 自研引擎

考虑到查询性能、稳定性和生态完善程度，我们选择自研一系列能力：

• 计算存储分离，基于集团云基础设施对计算存储解耦，实现云化部署，对计算存储动态管理。

• 支持bitmap、GroupTable和AFile索引，对超大规模数据计算性能加速。

• 支持向量召回计算，支持高并发、高性能向量在线计算和离线批量计算。

• 支持模型推理打分，支持部署AI模型进行高并发、高性能在线推理打分计算。

• 支持实时写入，支持高性能实时数据写入能力。

基于引擎自研的能力，不仅扩展引擎能力边界，更减少多引擎开发及维护成本。

2.2 Dolphin SQL引擎

SQL引擎核心设计目标是解耦业务SQL和物理执行SQL，通过SQL转译让业务SQL转化为物理执行SQL，用户对底层透明，给底层提供非常大的技术扩展空间，让使用SQL开发AI、Streaming能力成为可能。SQL引擎的能力主要包括转译、执行计划优化、负载均衡、物化及联邦查询能力。

我们自研SQL