【论文阅读 CIDR17】Self-Driving Database Management Systems-CSDN博客

本文链接：https://blog.csdn.net/qq_47865838/article/details/135608577

Self-Driving Database Management Systems

MySummary

ABSTRACT

之前的advisory tools来帮助DBA处理系统调优和物理设计的各个方面，都仍然需要人类对数据库的任何更改做出最终决定，并且是在问题发生后修复问题的反动措施reactionary measures 。

An truly “self-driving” database management system (DBMS)是针对autonomous operation(自主操作)设计的全新架构。系统的所有方面都是由一个integrated planning componen综合规划组件来控制。该组件不仅针对当前的工作负载优化系统，而且还预测未来的工作负载趋势，以便系统可以相应地做好准备。这样，DBMS就可以支持所有以前的调优技术，而不需要人工确定部署它们的正确方式和适当时间。

本文介绍了第一个自驱动DBMS Peloton的体系结构。由于深度学习算法的进步，以及硬件和自适应数据库架构的改进，Peloton的自主能力现在成为可能。

1. INTRODUCTION

其实SQL也是这种思路，关系模型和声明性查询语言就是使用DBMS来消除数据管理负担的想法。使用现有的自动调优工具是一项繁重的任务，因为它们需要费力地准备工作负载样本、分出一些硬件来测试提议的更新，最重要的是要放到DBMS的内部构件。如果DBMS可以自动做这些事情，那么它将消除掉调优过程中部署数据库所涉及的许多代价和成本。

以前的许多self-tuning系统工作都集中在仅针对数据库的单个方面的工具上，例如，一些工具能够选择数据库的最佳逻辑或物理设计，主要是索引、分区方案、数据组织、物化视图。其他工具能够为应用程序选择调优参数。这些工具中的大多数都以相同的方式操作：DBA提供样本数据库和工作负载Track，以指导搜索找到最佳或接近最优的配置。基于云的系统在service-level使用动态资源分配，但不调整单个数据库。

这些都不足以实现完全自主的系统，因为(1) external to the DBMS, (2) reactionary,(3) 无法一次考虑多个问题的整体视图。即：他们从系统外部观察 DBMS 的行为，并建议 DBA 如何进行修复已经发生的问题。Tunning tool是假设DBA能够在一个影响数据库性能的最小窗口来更新DBMS。但是现在DBMS非常复杂，所以如果有工具是自动化的，这样它们就可以单独部署优化。

在本文中，我们证明自动驾驶数据库系统现在是可以实现的。我们首先讨论使用这种系统的主要挑战。然后我们介绍了Peloton的架构，这是第一个为自主操作而设计的DBMS。我们总结了使用Peloton的集成深度学习框架进行工作量预测和行动部署的一些初步结果。

2. PROBLEM OVERVIEW

SFDB的第一个挑战是理解应用程序的工作负载。最基本的级别是将查询分类为 OLTP 或 OLAP。如果DBMS确定了应用程序属于这两个工作负载类中的哪一个，那么它就可以决定如何优化数据库。例如，如果是OLTP，那么DBMS应该将元组存储在面向行的布局中，该布局针对写进行了优化。如果是OLAP，那么DBMS应该使用面向列的布局，这种布局更适合访问表列子集的只读查询。最好是支持混合HTAP工作负载的单个DBMS。这样的系统会自动为不同的数据库段选择适当的OLTP或OLAP优化。

DBMS还需要预测资源利用趋势。要求它能够预测未来的需求，并在对性能影响最小的时候部署优化。不可否认，有一些工作负载异常是DBMS永远无法预料的(例如，“viral”content)。但是这些模型(self-driving?)提供了早期预警，使DBMS能够比外部监控系统更快地制定缓解措施。

有了这些预测模型，DBMS就可以识别出针对预期工作负载调优和优化数据库的潜在actions。

Untitled