曲线拟合是一个经典的问题,将其数学化后是:已知训练数据
x
和对应的目标值
t
。通过构建参数为
w
的模型,当新的
x
出现,对应的
本文将从误差和概率的角度探讨如何解决曲线拟合的问题,具体地,将阐述以下概念:
- 误差函数
- 正则化
- 最大似然估计(MLE)
- 最大后验估计(MAP)
- 贝叶斯
误差角度
误差函数
直观的解决思路是最小化训练误差,公式如下:
正则化
上面的方法会遇到过拟合的问题,所以可以加上正则化的参数避免过拟合,改进后的公式如下:
概率角度
高斯分布假设
假设每个点都服从均值不一样方差一样的高斯分布,均值为 y(xn,w) ,方差为 β−1 。那么,每个点的的概率分布是:
最大似然估计
为了求出上面的概率分布,首先要求出模型 w 的值,假设每个点之间相互独立,那么似然函数为:
对上式取log,并最大化,得到:
计算 w 只和上式右边的第一项有关,可以看到,最大似然的结果等同于误差函数的结果,也就是MLE等同于sum squared error function。
最大后验估计
根据MLE,我们可以得到模型 w 的参数,并且可以计算出 p(t|x,w,β) 似然函数进而求得对应点的值,可是这样同样存在过拟合的问题,为了解决这个问题,我们引入了先验估计,并结合似然函数计算出了后验估计。
假设
w
的先验估计如下:
根据后验估计等于似然函数乘以先验估计,也就是
同样适用最大似然估计的方法,不过这里不是作用在似然函数上,而是作用在后验分布上,我们得到:
因此可以看到:
- 最大化似然函数等同于最小化SSE。
- 最大化后验分布等同于最小化SSE加上regulation。
贝叶斯
所谓贝叶斯,就是多次重复使用概率中的和规则和积规则。
为了方便,下文中认为 α,β 是固定的,在公式中省略了这两者,公式如下: