秘密武器 | 看AnalyticDB如何强力支撑双十一

前言

每年双十一购物狂欢节都是云原生数据仓库AnalyticDB MySQL版（原分析型数据库MySQL版）的一块试金石。今年AnalyticDB除了在阿里数字经济体内进入更多核心交易链路，全力支撑双十一以外，AnalyticDB全面拥抱云原生，构建极致弹性，大幅降低成本，释放技术红利，重磅发布了诸多全新企业级特性，让用户及时拥有极高性价比的云原生数据仓库。

云原生数据仓库AnalyticDB

云原生数据仓库AnalyticDB是一种支持高并发低延时查询的新一代云原生数据仓库，高度兼容MySQL协议以及SQL:2003 语法标准，可以对海量数据进行即时的多维分析透视和业务探索，快速构建企业云上数据仓库，实现数据价值的在线化。

AnalyticDB全面覆盖数据仓库场景，包括报表查询、在线分析、实时数仓、ETL等，应用范围广。AnalyticDB兼容MySQL和传统数据仓库生态，使用门槛低。

AnalyticDB全力支撑双十一

2020年双十一，AnalyticDB支持了阿里数字经济体内几乎所有BU的业务，承载了集团的菜鸟、新零售供应链、DT数据系列产品、数据银行、生意参谋、人群宝、达摩院店小蜜、AE数据、盒马、天猫营销平台等130多个主要业务。从核心交易链路的高并发在线检索到复杂实时分析应用场景，表现非常稳定。当天各项指标再创新高，AnalyticDB当天的写入TPS峰值到达2.14亿，通过离在线一体化架构，支持在线ETL及实时查询Job数达到174571个/秒，离线ETL导入导出任务570267个，处理的实时数据量达到7.7万亿行。

在本次双十一中，在公有云上支持聚水潭、递四方、EMS等诸多核心业务，在专有云上支持了中国邮政集团的各类业务。AnalyticDB数据库为这些业务方提供了数据处理ETL、实时在线分析、核心报表、大屏和监控能力，为数十万商家和千万消费者提供稳定的离在线数据服务。

AnalyticDB面临的挑战

双十一的一连串亮眼数据背后，AnalyticDB也面临极大的挑战，主要体现在：

1、进入集团核心交易链路

AnalyticDB开始正式接入集团内的核心交易链路，进入集团核心交易业务买家分析库业务，这对AnalyticDB的实时高并发写入、在线检索的能力提出了极高的要求。双十一总共超过600亿条订单记录，其中双十一1号0点和0点30分预付尾款的多波峰值达到500万TPS，是日常的100倍。Query 95分位RT在10ms以内。

AnalyticDB全新研发的行存引擎首次表现亮眼，可支持千万级QPS在线高并发检索和分析，关键技术点包括高并发查询链路、全新的行存存储、任意列TopN下推、联合索引、智能索引选择等，实现了单节点10000+QPS并可线性扩展。在相同资源下，单表点查、聚合及TopN是开源ElasticSearch的2-5倍，存储空间节省50%，写入性能是其5-10倍，并且保证数据的实时可见和数据高可靠。

2、进入更多生产作业环节

这一年来，AnalyticDB深入到菜鸟仓储的核心作业环节。仓库操作人员的数据看板、数据核对、发货操作等都依赖AnalyticDB的高并发实时写入、实时查询和相关的数据分析能力，每秒峰值6000订单。ADB作为菜鸟数仓引擎，实时监控亿级包裹在仓、揽、干、运、配每个作业节点的状态，确保每一笔订单都能按时履约，极大提升了用户体验。在11月1日的第一波流量峰值中，菜鸟仓储单实例的TPS 40万+，QPS 200；供应链履约单实例TPS峰值160万，1200 QPS。

菜鸟数仓数据架构图：

3、接入更多的导入任务

一些依赖数据洞察（类似DeepInsight）的业务，他们本身也是平台方，上面每天都大量的导入任务，且这些任务需要在规定的时间内导入完成，有些甚至配置了基线要求，不仅要求所有任务在规定的时间点导入完成，还要求每个任务在规定的时间点内完成。这在原来AnalyticDB 2.0上（依靠跑MapReduce任务）是不可想象的，然而在AnalyticDB 3.0上可以轻松地跑完。AnalyticDB 3.0的任务导入做到更加轻量和实时。以11月8日的导入任务为例，9074个任务最长的只需要9