调参神器贝叶斯优化（bayesian-optimization）实战篇

今天笔者来介绍一下和调参有关的一些事情，作为算法工程师，调参是不可避免的一个工作。在坊间算法工程师有时候也被称为：调参侠。但是一个合格的算法工程师，调参这部分工作不能花费太多的气力，因为还有很多艰深的问题等着你去克服，怎么能在调参这块花大力气呢。所以自动调参的学习是一项必须学会的技能。这里笔者就介绍一个调参神器——贝叶斯调参

贝叶斯调参简介

说到自动调参大家首先会想到的就是网格搜索（网格搜索：“遍历所以的参数组合,从而选出最优的参数组合”)。笔者之前也经常会用到这个方法，但是后来搜索空间变大之后，发现网格搜索的速度太慢，所以转而投靠贝叶斯调参。接下来笔者简要介绍一下贝叶斯调参相对于网格搜索的优势：

• 贝叶斯调参采用高斯过程，会考虑到之前的参数信息，不断地更新先验；网格搜索则不会考虑先验信息。
• 贝叶斯调参迭代次数少，速度快；网格搜索会遍历所有的可能的参数组合，所以速度慢,参数多时易导致维度爆炸
• 贝叶斯调参针对非凸问题依然稳健；网格搜索针对非凸问题易得到局部最优。

当然贝叶斯调参背后涉及的高斯过程等一些数学知识，这里笔者水平有限，之后理解后再和大家详说，但是贝叶斯调参的思想就是:利用已有的先验信息去找到使目标函数达到全局最大的参数。</