小迈科技 X Hologres：高可用的百亿级广告实时数仓建设

通过本文，我们将会介绍小迈科技如何通过Hologres搭建高可用的实时数仓。

一、业务介绍

小迈科技成立于 2015 年 1 月，是一家致力以数字化领先为优势，实现业务高质量自增长的移动互联网科技公司。始终坚持以用户价值为中心，以数据为驱动，为用户开发丰富的工具应用 、休闲游戏 、益智 、运动等系列的移动应用 。以成为全球领先开发者增长服务平台为愿景及使命，小迈希望通过标准化的产品和服务赋能，为开发者提供全链路解决方案，以技术+服务全方位保驾护航，助燃产品持续增长，帮助工具和休闲游戏的开发者提升产品的成功率。

小迈科技累计开发 400 余款产品，累计用户下载安装量破七亿 ，日活500-1000w，数据量每天 100 亿+。围绕高质量APP、用户增长和商业化变现，公司通过大数据技术相继搭建了商业化变现、智能推广、财务管理等10+应用系统。但用户量指数级增长，业务团队对数据实时化、精细化的要求提升，大数据系统开始备受挑战，如何更好的通过数仓建设为业务增长赋能成为重要突破点。

二、小迈数仓发展历程：从神策到流批一体实时数仓

为了满足业务团队的数据需求，小迈大数据技术团队从业务发展早期就开始建设数仓系统，从传统的神策阶段过渡到离线数仓，再发展到如今稳定的流批一体实时数仓共经历了3个阶段，从业务和技术的挑战中，不断对数仓系统进行迭代优化，从而支撑业务快速增长。下面将会进一步介绍小迈的大数据平台发展历程：

1、神策阶段

在最原始的阶段，业务系统基于神策实现。APP数据直接接入神策，初期只能看到APP内的行为数据， 以及广告数据，分析能力有限，不够灵活，无法自定义处理，不能和第三方数据进行整合分析，无法满足业务进一步要求。但因为业务还是起步阶段，数据平台的建设以满足现有业务需求为主，如果业务有特殊需求，再单独搭建对应的分析系统。

2、离线数仓（引入MaxCompute）

随着公司业务的不断发展，服务的用户越来越多，数据量指数级增长，对应的业务系统越来越多，每个系统之前也是割裂的，并且系统稳定性开始面临巨大挑战。基于神策的局限性，业务开始引入阿里云的MaxCompute、DataWorks和某分布式数据库（以下简称某DB）搭建离线数仓。业务的主要流程：

1. 通过JDBC的方式拉去神策罗盘服务器，并通过DataWorks将数据离线同步至MaxCompute；
2. 在MaxCompute中通过数仓四层建模（ODS、DWD、DWS、ADS），结果数据通过DataWorks离线同步至某DB；
3. 在某DB中对接业务系统的各种分析需求。

离线数仓的引入基本满足了整个公司各个角色的分析决策，但随着业务的不断发展，会出现以下问题：

• 系统间通过神策系统以JDBC的方式拉取数据，过度依赖第三方神策，过于耦合，神策出问题的时候，整个计算流程无法继续，无法满足业务的敏捷分析需求。神策恢复之后，手动参与重新跑数据，浪费了许多人力。
• 数据统计完之后，数据入库慢，大大影响了整个链路的跑数时间，而业务对数据计算的实时性要求越来越高，现阶段无法支撑。
• 数据量呈现指数级别的增长，分析维度越来越多，结果数据基本达到了明细数据级别，现有的数据查询引