贝叶斯优化

首先是无关紧要的杂文：

系统通过已有数据寻找答案，设置数据也需要自己找。
但是哪些数据能生成有用需要指标，称为自适应传感。
在放射源检测中，可以检测每个点的置信区间。
n个观测可以反馈每个的置信区间（LCB置信下限；UCB置信上限），如果B的置信下限高于A的zhi置信上限说明B>A。
实际中，如果一个点的置信上限低于周围点的置信下限，在下次检测的时候可以粗略检测。
每一次都找这样的区域。

下面是是真正的贝叶斯优化：
文章内容莱源于《贝叶斯优化: 一种更好的超参数调优方式》

它要求已经存在几个样本点,通过高斯过程回归,计算前面n个点的后验概率分布。

探索和开发（方差和均值）

从曲线可以看出，中间的点均值较大，而且方差也比较大，很有可能这个点的超参数可以训练得到一个效果指标好的模型。那为什么要选均值大和方差大的点呢？因为前面提到均值代表期望的最终结果，当然是越大越好，但我们不能每次都挑选均值最大的，因为有的点方差很大也有可能存在全局最优解，因此选择均值大的点我们成为exploritation（开发），选择方差大的点我们称为exploration（探索）。

获取函数

例如我们的模型训练非常慢，只能再跑1组超参数了，那应该选择均值较大的比较有把握，如果我们计算力还能可以跑1000次，那么就不能放弃探索的机会应该选择方差大的，而至于均值和方差比例如何把握，这就是我们要定义的acquisition function了。

也就是说，在用高斯过程回归，回归出采样点的分布以后，根据每个点的均值和方差的关系，选择下一个需要更新的点，也就是说需要加入到训练集中的点（和高斯过程回归的区别是这个是真正的实验，因为得到的不是分布了，而是真正的y。）

函数形式

最简单的acquisition function就是均值加上n倍方差（Upper condence bound算法），这个n可以是整数、小数或者是正数、负数，更复杂的acquisition function还有Expected improvement、Entropy search等等。在原来的图上加上acquisition function曲线，然后我们求得acquisition function的最大值，这是的参数值就是贝叶斯优化算法推荐的超参数值，是根据超参数间的联合概率分布求出来、并且均衡了开发和探索后得到的结果。

在阅读的论文中，使用的是下界置信区间函数
TCB(x) = u(x)-k*σ(x)
取函数最小的x进行优化。

超超参数

注意，前面提到的Bayesian Optimization等超参数优化算法也是有超参数的，或者称为超超参数，如acquisition function的选择就是可能影响超参数调优模型的效果，但一般而言这些算法的超超参数极少甚至无须调参，大家选择业界公认效果比较好的方案即可。

调参服务

文中介绍了谷歌的调参服务，这里不进行介绍。

其他相关文章

AutoML总结