曲线拟合的几种解释

曲线拟合是一个经典的问题，将其数学化后是：已知训练数据$\bf{x}$和对应的目标值$\bf{t}$。通过构建参数为$\bf{w}$的模型，当新的$x$出现，对应的$t$是多少。

本文将从误差和概率的角度探讨如何解决曲线拟合的问题，具体地，将阐述以下概念：

• 误差函数
• 正则化
• 最大似然估计（MLE）
• 最大后验估计（MAP）
• 贝叶斯

误差角度

误差函数

直观的解决思路是最小化训练误差，公式如下：

$$\min_w \frac{1}{2}\sum_{n=1}^N\{ y(x_n,\textbf{w}) -t_n\}^2$$

正则化

上面的方法会遇到过拟合的问题，所以可以加上正则化的参数避免过拟合，改进后的公式如下：

$$\min_w \frac{1}{2}\sum_{n=1}^N\{ y(x_n,\textbf{w}) -t_n\}^2+\frac{\lambda}{2} \Vert \textbf{w} \Vert ^2$$

概率角度

高斯分布假设

假设每个点都服从均值不一样方差一样的高斯分布，均值为$y(x_n,\textbf{w})$，方差为$\beta^{-1}$。那么，每个点的的概率分布是：

$$p(t|x,\textbf{w},\beta) =N(y(x_n,\textbf{w}),\beta^{-1})$$

最大似然估计

为了求出上面的概率分布，首先要求出模型$\textbf{w}$的值，假设每个点之间相互独立，那么似然函数为：

$$p(\textbf{t}|\textbf{x},\textbf{w},\beta) =\prod_{n=1}^N N(t_n|y(x_n,\textbf{w}),\beta^{-1})$$

对上式取log，并最大化，得到：

$$\max_{\textbf{w}} \ln p(\textbf{t}|\textbf{x},\textbf{w},\beta) = -\frac{\beta}{2}\sum_{n=1}^N\{ y(x_n,\textbf{w}) -t_n\}^2 + \frac{N}{2}\ln\beta-\frac{N}{2} \ln (2\pi)$$

计算$\textbf{w}$只和上式右边的第一项有关，可以看到，最大似然的结果等同于误差函数的结果，也就是MLE等同于sum squared error function。

最大后验估计

根据MLE，我们可以得到模型$\textbf{w}$的参数，并且可以计算出$p(\textbf{t}|\textbf{x},\textbf{w},\beta)$似然函数进而求得对应点的值，可是这样同样存在过拟合的问题，为了解决这个问题，我们引入了先验估计，并结合似然函数计算出了后验估计。

假设$\textbf{w}$的先验估计如下：

$$p(\textbf{w} | \alpha) = N(\textbf{w}|\textbf{0},\alpha^{-1}\textbf{I})$$

根据后验估计等于似然函数乘以先验估计，也就是

$$p(\textbf{w}|\textbf{x},\textbf{t},\alpha,\beta) \propto $p(\textbf{t}|\textbf{x},\textbf{w},\beta) p(\textbf{w} | \alpha)$$

同样适用最大似然估计的方法，不过这里不是作用在似然函数上，而是作用在后验分布上，我们得到：

$$\min_w \frac{\beta}{2}\sum_{n=1}^N\{ y(x_n,\textbf{w}) -t_n\}^2+\frac{\alpha}{2} \Vert \textbf{w} \Vert ^2$$

因此可以看到：

• 最大化似然函数等同于最小化SSE。
• 最大化后验分布等同于最小化SSE加上regulation。

贝叶斯

所谓贝叶斯，就是多次重复使用概率中的和规则和积规则。

为了方便，下文中认为$\alpha,\beta$是固定的，在公式中省略了这两者，公式如下：

$$p(t|x,\textbf{x,t}) =\int p(t|x,\textbf{w}) p(\textbf{w}|\textbf{x},\textbf{t}) \textbf{dw}$$