Doris实战——天眼查Doris实时数仓构建

目录

前言

一、业务背景

二、原有架构及痛点

三、理想架构

四、技术选型

五、新数仓架构

六、应用场景优化

6.1 人群圈选

6.2 C端分析数据及精准营销线索场景

七、优化经验

八、规模和收益

九、未来规划

---

    原文大佬的这篇实时数仓构建有借鉴意义的，这些摘抄下来用作沉淀学习。如有侵权，请告知~

前言

     天眼查作为商业查询平台，目前已收录全国3亿多家社会实体信息，300多种维度信息及时更新，致力于构建商业安全，从而实现“公平看清世界”。随着近年来对产品的持续深耕和迭代，用户数量也在不断攀升，业务的突破更加依赖于数据赋能，精细化的用户/客户运营也成为提升体验、促进消费的重要动力。在这样的背景下正式引入 Doris对数仓架构进行升级改造，实现了数据门户的统一，大大缩短了数据处理链路，数据导入速率提升75%，500万及以下人群圈选可以实现毫秒级响应。

一、业务背景

    天眼查的数据仓库主要服务于三个业务场景，每个场景都有其特点和需求，具体如下：

• 亿级用户人群圈选：人群圈选场景中目前有100+人群包，需要根据 SQL 条件圈选人群包，来支持人群包的交并差、人群包实时圈选和人群包更新通知