重磅 | 数据库自治服务DAS论文入选全球顶会SIGMOD，领航“数据库自动驾驶”新时代

近日，智能数据库和DAS团队研发的智能调参ResTune系统论文被SIGMOD 2021录用，SIGMOD是数据库三大顶会之首，是三大顶会中唯一一个Double Blind Review的，其权威性毋庸置疑。

ResTune论文的录用，说明了我们在智能化数据库管控方向的技术积累和深度，也是阿里云自治数据库和智能化运维里程碑式的一步。目前，智能调参功能已经在数据库自治服务（DAS）上落地，是业界第一个正式上线的数据库配置参数智能调参功能，进一步说明了阿里云自治数据库方向的技术领先性。

1. 概述

调参服务在阿里丰富的业务场景中有着广泛的应用，如数据库系统的性能与配置参数优化、机器学习模型/深度神经网络的超参选择、推荐系统和云调度系统中参数的自适应调节、工业控制和供应链中的仿真优化和参数优化等。如何在生产环境中支持客户实际需求，是学术界AI for system的一个研究热点。

今年，由达摩院-数据库与存储实验室-智能数据库团队研发的ResTune智能调参工作（ResTune: Resource Oriented Tuning Boosted by Meta-Learning for Cloud Databases，地址：https://dl.acm.org/doi/pdf/10.1145/3448016.3457291），主要针对OLTP数据库系统的性能参数进行调优，涉及RDS MySQL、RDS PostgreSQL、PolarDB MySQL、PolarDB-O等数据库系统，该工作发表在数据库领域的顶级会议SIGMOD2021(Research Track)，并在阿里云数据库自治服务DAS产品中技术落地。

2. 背景

数据库系统如MySQL提供200多个配置参数，不同的参数组合与不断变化的业务负载特征，共同决定着数据库系统的性能和资源使用。针对集团内的业务，通常DBA会根据不同的业务，按人工经验手动选择一组适合的参数。随着数据库上云的加速，业务越来越多样化，仅仅依赖于DBA人工调参遇到水平扩展的瓶颈制约。同时，由于DBA经验的差异性，很难对多种多样的业务负载都找出最优参数。云厂商要做到“客户第一”，自动化的调参功能至关重要：在不同的实例环境下对时间上不断变化的多样业务负载，自适应的提供个性化的优化参数。

数据库系统调参需要同时考虑性能(如Transactions per second/TPS、Latency)和资源使用(CPU、Memory、IO)的情况。性能优化固然重要，但真实负载的TPS往往受用户的request rate所限，很难达到峰值性能。图1是两个参数下不同取值的TPS和CPU利用率，可以看到，在TPS最高的红色区域对应的CPU利用率变化较大，从15%到75%。而在TPS相同的情况下，资源利用率有很大优化空间。从成本角度，TCO(Total Cost of Ownership)是云数据库的重要指标，也是云数据库的主要优势。

优化资源使用对减少云数据库的TCO，提高成本优势有着重要意义。事实上，我们发现云上大多数实例都存在Over-Provision的情况。此外，资源使用过高可能会造成云数据库的异常和资源争抢带来的性能下降；优化数据库的资源使用能够有效减少甚至避免此类情况引发的故障，提高稳定性。

3. 挑战

我们分析了调参的目标是同时考虑优化资源使用率和性能，上文也提到性能如TPS往往会被客户端的request rate所限而达不到峰值性能。因此，我们需要找出资源利用率最小的数据库配置参数，并且满足SLA的要求。

另一方面，调参本身需要尽可能快（不然违背了降低资源使用），通常的调参系统需要上百步迭代来找出好的配置，每一步迭代约3-5分钟回放workload，这样通常需要天级别的时间进行调参训练。但如果想解决在线troubleshoot的需求，往往需要在1个小时内找出问题，进行恢复。作为云厂商，我们基于已有业务负载调参的历史数据，采用知识迁移学习，可有效加速调参过程，从而尽可能快地找出好的数据库参数配置。

4. 相关工作

数据库调参是最近研究相对热门的领域，在过去几年中有不少工作发表。这些工作按照技术思路主要可以分为三大类：基于搜索的启发式方法、基于贝叶斯优化的方法、基于强化学习(Reinforcement Learning)模型的方法。