机器学习如何自动优化数据库的八卦

之前看老杨写了篇爆文,《DBA要失业了?看ML如何自动优化数据库》,当时猛一看很有革命性,但是在看了这篇文章之后,有了两点想法,第一是,目前的自动化优化方式还在探索当中,并不是一个革命性的颠覆研究结果,但是很有潜力,因为数据库和机器学习联系在一起,如果继续往下走,还是有无限可能的,第二是,DBA现有的工作还是有很多的改进之处,也给追求稳定安逸功能我们敲响了警钟。

这篇文章从另外的角度来看看这个开源项目ottertune,因为消化里面的论文还是需要很多的时间,但是我大体看了下思路还是连贯的。

我们来扒一扒里面的作者,也间接来透视下这个开源项目。

首先这个开源项目是otttertune,是大名鼎鼎的CMU(卡内基梅隆大学)推出的,github地址是:https://github.com/cmu-db/ottertune,如下:

e4ab1c3fbfd343ee8f096dbd6c55db37.jpg

卡内基梅隆作为世界计算机行业的精英要脸,不光是自己要玩得High,也更加开放,让更多的人来了解他们。github上该大学有一个专门的数据组,是以学校名义创建的,里面不仅仅有ottertune,还有很多的工具,感兴趣的可以看看。

4a428f57332b42c8b56ac1f2d250656c.jpeg

里面应该包含了数据库相关专业的所有学生,越是细看,越是觉得有意思。

我们来看一下作者,如果查看ottertune里面readme的介绍,最后会给出贡献者。

fc8d1df6becc4c939676c1f0df14eaa3.jpg

在此就会有几个疑问,这几个学生到底是什么来头,最后的学生为什么没有单独引入进来。

结果一查还真是让我吃了一惊,里面的Dana是位phD(博士),专攻这个方向,而且同时参与了多个项目。

9b8bc06610c14e38abd7b1ef12e5a4f8.jpeg

第二位是助理教授(级别高于讲师而低于副教授)

60d9c7fe08a048c3a39252701cb94c0d.jpeg

如果你细心一些会发现,作者的排名可是这位Dana排在前面,后面才是助理教授。

如果你觉得没有什么,我们继续看第三位作者:

563362efb5494a568269869d5dceedfa.jpeg

这位可是教授,排在了第三个位子,让我确实有些吃惊,按照很多排位,一般都得是资历最深,而在这里相反我可以猜测是因为Dana主导了这个项目,投入了更多的精力。

那么最后一位作者呢,我们看看里面提供的相关资料,就是论文,大概16页,作者是来自北京大学的一位同学。

d76be035b91b46f59a218f71ce1855a6.jpg

这个发现让我有了一种很熟悉的感觉,因为这个是涉及深度学习的内容,整个项目的实现是选择了Python来实现,里面含有大量的类库。

这是Ottertune工作的一个基本原理图,在论文里面提供了更多的细节。

6264d92a9da44492ad735e60e6c992cc.jpg

目前支持的数据库是MySQL和PostgreSQL,他们的一个发力点就是参数的优化方面。

比如下面的就是他们做为调优内容的一个初步的结论,后面也在不断的改进过程中,因为是按照机器学习的角度来入手,很多思维和处理方式和DBA的还是有一些差别,希望能够引入更多的火花。

而从学术角度来说,我的积淀还不够深入,不能够给出很深入的分析。

90c63f27683a4e468f235d1ee45ca925.jpeg


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/23718752/viewspace-2144185/,如需转载,请注明出处,否则将追究法律责任。

转载于:http://blog.itpub.net/23718752/viewspace-2144185/

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值