阿里妈妈Dolphin智能计算引擎基于Flink+Hologres实践

作者：徐闻春（花名 陌奈） 阿里妈妈事业部技术专家

本文整理至Flink+Hologres实时数仓Workshop北京站，点击查看视频回放>>>

阿里妈妈数据引擎团队负责广告营销计算引擎Dophin的开发，目前支撑百万级广告主的营销产品，支持万亿级数据毫秒级交互式人群圈选、洞察分析及百亿级数据秒级广告效果分析，同时支持OLAP、实时、离线及AI超融合计算能力，为商家端产品万相台、直通车、超级推荐和达摩盘等营销产品提供极速的数据探索能力。

阿里妈妈Dolphin智能计算引擎介绍

用户打开淘宝 App 时，后台会有两种类型的请求，第一种类型是满足用户诉求的自然推荐，第二种请求是满足用户和商家综合诉求的广告推荐。例如打开淘宝看到某品牌，是因为该品牌使用阿里妈妈营销产品圈选人群进行广告投放，被圈选的人会看到该广告。

商家端营销产品的主要目标是服务于广告主，帮助广告主进行人群投放，从而提升经营效果。此类营销产品覆盖的场景非常广泛，包括人群圈选、洞察分析、Lookalike、人群推荐等场景。这些场景会有OLAP分析、AI算法和实时特征计算的基础能力需求，基于这样一个数据+算法综合能力需求背景下，阿里妈妈自研了Dolphin计算引擎。

Dolphin引擎是一个分析AI一体化的超融合引擎，拥有 OLAP分析计算、 Streaming 流计算、 Batch 批量计算和AI 算法计算四个领域能力，这些能力基于SQL组件和Index Build 组件构建：

• SQL 组件的主要能力是 SQL转义、路由、负载均衡、联邦查询。
• Index Build 组件主要负责智能索引、多级索引（Bitmap索引、时间序列索引等）、调度控制等。

Dophin引擎提供了自研索引、智能物化、智能索引选择、异构数据源查询和近似计算等几个优势功能。其中：

• 智能物化：智能物化指能够自动将SQL转化为物化视图，无需人工手动操作。使用深度模型对业务历史查询 SQL 进行时序分析，比如哪些广告主在什么时间周期的数据使用频率更高，可以选择将高频的使用数据进行物化，以提高数据查询效率。
• 智能索引：大多数业界的做法是为查询建立全索引