贝叶斯优化初学

神经网络是由很多超参数（理解为初值）决定的；例如网络深度，学习率，卷积核大小；
最直观的方法就是穷举搜索，但是非常耗时，因此提出了随机搜索。

假设损失函数和超参数之间的函数关系为：f(X),
目前的机器学习其实是black box,很难确定函数f，所以需要转移到能够解决的函数中。
贝叶斯优化的最简形式的算法思路如下：
算法解析：
f：black box;
X：输入数据，如图像，语音；
S：采集函数。
M：基于输入数据的模型，本节主要介绍高斯模型。
initsamples(f,x)->D：初始化获取数据集。
固定的循环次数T次。
p(y|x,D)←FITMODEL(M,D)：
xi←argmax∈XS(X,p(y|X,D))；
yi←f(xi)；
D←D⋃(xi,yi)。