如何处理variational caculas（变分）

PRML的第一章在两个地方使用到了变分，对于之前没接触过变分的学渣会产生很大的恐惧感。而且PRML附录里对变分的介绍也让人看得云里雾里。在实验室的一名贝叶斯学派新秀的指导下，这里总结一种简单的处理变分优化的方法，来解决第一章遇到的两个问题。

1.5.5 Loss functions for regression

这节介绍了回归问题的代价函数，广义的回归问题损失函数定义为:

$$E[L] = \int\int L(t, y(\textbf{x}))p(\textbf{x},t)d\textbf{x}dt$$
通常我们选择平方差即 $L(t, y(\textbf{x})) = \{y(\textbf{x})- t\}^2$.此时代价函数为：
$$E[L] = \int\int \{y(\textbf{x})- t\}^2p(\textbf{x},t)d\textbf{x}dt$$
求解回归问题的目标就是选择出一个函数 $y(\textbf{x})$来最小化代价函数，通过变分的方法，我们可以求解出一个普适的 $y(x)$来满足这个要求。方法如下：

设$f(x) = y(x)+\epsilon \eta(x)$, 定义泛函$\phi(\epsilon) = F[f] = F[y+\epsilon \eta]$, 那么$\phi(0) = F[y] = E[L]$.即:

ϕ(ϵ)=∫∫{ y(x)+ϵ