超参数优化之贝叶斯优化（Bayesian Optimization)

Ⅰ.Grid Search/Random Search

Grid Search:神经网络训练由许多超参数决定，例如网络深度、学习率、卷积核大小等等。为了找到一个最好的超参数组合，最直观的想法就是Grid Search, 其实也就是穷举搜索。

Random Search:为了提高搜索效率，提出随机搜索。虽然随机搜索得到的结果互相之间差异较大，但是实验证明随机搜索的确比网格搜索效果要好

Ⅱ.Bayesian Optimization

贝叶斯优化的大体思路：

假设一组超参数组合是 $X=x_1,x_2,...,x_n$, 贝叶斯优化假设超参数与需要优化的损失函数存在一个函数关系。

假设函数$f：x\to R，我们需要在x\subset X内找到$
$$x^{\ast }=\underset{x\in X}{\mathrm{argmin}}f(x)（1）$$
详细算法:
Sequential model-based optimization(SMBO)
$Input:f,X,S,M$
$D\leftarrow InitSamples(f,X)$
$fori\leftarrow |D|toTdo:$
$p(y|x,D)\leftarrow FitModel(M,D)$
$x_i\leftarrow \underset{x\in X}{\mathrm{argmax}}S(x,p(y|x,D))$
$y_i\leftarrow f(x_i)▹Expensivestep$
$D\leftarrow D\cup (x_i,y_i)$
$endfor$

<1>.Input:
$f$: 就是所谓的黑盒子，即输入一组超参数；得到一个输出值。
$X$: 超参数搜索空间。
$D$: 表示一个由若干对数据组成的数据集，每一对数组表示为$(x,y),x$是一组超参数， $y$表示该组超参数对应的结果。
$S$:是Acquisition Function(采集函数） ，这个函数的作用是用来选择 $x$
$M$: 是对数据集D进行拟合得到的模型，可以用来假设的模型有很多种，例如随机森林，Tree Parzen Estimators, 高斯模型。

<2>.$D\leftarrow InitSamples(f,X)$
这一步骤就是初始化获取数据集 $D=(x_1,y_1),...,(x_n,y_n),$其中$y_i=f(x_i)$。

<3>.循环选参数T次
因为每次选出参数$x$后都需要计算$f(x)$, 消耗大量资源，所以一般需要固定选参次数（或者是函数评估次数）。
$p(y|x,D)\leftarrow FitModel(M,D)$
首先我们预先假设了模型$M$服从高斯分布， 且已知了数据集$D$， 所以可以通过计算得出模型的具体函数表示。

高斯分布如何计算？
假设模型$f\sim GP(\mu ,K)(GP：高斯过程，\mu :均值，K：协方差kernel)$， 所以预测也是服从正态分布的，即 $p(y|x,D)=N(y|\hat{\mu },{\hat{\sigma }}^2)$
$\mathbf{y}=(y_i...y_i{)}^T$
$\hat{\mu }={\mathbf{k}(\mathbf{x})}^T(\mathbf{K}+{\sigma }_n^2\mathbf{I}{)}^{-1}\mathbf{y}$
${\hat{\sigma }}^2=\mathbf{K}(x_{1}x)-\mathbf{k}(x{)}^T(\mathbf{K}+{\sigma }_n^2\mathbf{I}{)}^{-1}\mathbf{k}(\mathbf{x})$

<4>.$x_i\leftarrow \underset{x\in X}{\mathrm{argmax}}S(x,p(y|x,D))$
假设的模型计算出来之后，在此模型的基础上选择满足公式（1）的参数，也就是选择$x$。通过Acquisition Function 来选择。

Acquisition Function
1） Probability of improvement
假设$f^{{}^{\prime }}=minf$。
定义utility function如下:
$$u(x)=\{\begin{array}{rcl}0,& & {iff(x)>f}^{\prime }\\ 1,& & iff(x)\le f^{\prime }\end{array}$$
probability of improvement acquisition function 定义为the expected utility as a function of x:
$$\begin{gathered} a_{PI}=E[u(x)|x,D]={\int }_{-\infty }^{f^{\prime }}N(f;\mu (x),K(x,x))df \\ =\Phi (f^{\prime };\mu (x),K(x,x)) \end{gathered}$$
求出$a(x)$ 的最大值即可求出基于高斯分布的满足要求的 $x$。

2）Expected improvement
上面的AC function 有个缺点就是找到的 $x$ 可能是局部最优点，所以有了Expected improvement。
$f^{\prime }=minf$
utility function定义如下：
$u(x)=max(0,f^{\prime }-f(x))$
AC function 定义如下：
$$\begin{gathered} a_{EI}=E[u(x)|x,D]={\int }_{-\infty }^{f^{\prime }}(f^{\prime }-f)N(f;\mu (x),K(x,x))df \\ =(f^{\prime }-\mu (x))\Phi (f^{\prime };\mu (x),K(x,x))+K(x,x)N(f^{\prime };\mu (x),K(x,x)) \end{gathered}$$
通过计算使得$a_{EI}$值最大的点即为最优点。
上式有两个组成部分，使得上式最大则需要同时优化左右两个部分：
左边需要尽可能的减少$\mu (x)$
右边需要尽可能的增大方差（或协方差）$K(x,x)$
但二者不能同时满足，这是一个exploration tradeoff

3)Entropy search
$$u(x)=H[x^{\ast }|D]-H[x^{\ast }|D,x,f(x)]$$

4)Upper confidence bound
$$\begin{gathered} a_{UCB}(x;\beta )=\mu (x)-\beta \sigma (x) \\ \sigma (x)=\sqrt{K(x,x)} \end{gathered}$$

<5>.$y_i\leftarrow f(x_i)$
通过上述步骤选出了一组超参数$x_i$, 下一步将超参数带入网络中去进行训练， 最后得到输出$y_i$

<5>.$D\leftarrow D\cup (x_i,y_i)$ 更新数据集