最小均方差的概率阐述(Probabilistic interpretation)

当面对一个像线性回归的回归问题时，为什么最小方差代价函数（损失函数）是一个好的解决方案呢？在这一节的内容，我们通过概率论的视角会发现最小方差回归是一个很自然的算法。

我们不妨假设，目标变量与输入变量有如下关于：

$$y^{(i)}={\theta }^T{x}^{(i)}+{ϵ}^{(i)},$$

上式中的${ϵ}^{(i)}$是一个误差项，表示模型未捕捉的特征或随机噪声。我们假设这些${ϵ}^{(i)}$是独立同分布于均值为0、方差为${\sigma }^2$的高斯分布，记作${ϵ}^{(i)}\sim \mathcal{N}(0,{\sigma }^2)$。${ϵ}^{(i)}$的概率密度为：

$$p({ϵ}^{(i)})=\frac{1}{\sqrt{2\pi }\sigma }\text{exp}\left(-\frac{({ϵ}^{(i)}{)}^2}{2{\sigma }^2}\right).$$

替换一下变量则有：

$$p(y^{(i)}|x^{(i)};\theta )=\frac{1}{\sqrt{2\pi }\sigma }\text{exp}\left(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2}\right).$$

$p(y^{(i)}|x^{(i)};\theta )$是对于给定输入特征$x^{(i)}$和参数$\theta$时，$y^{(i)}$的条件概率分布。需要注意的是它不能写成$p(y^{(i)}|x^{(i)},\theta )$。因为$\theta$不是随机变量，$\theta$是待沽参数，未知却是固定值。

给定$X$（包含所有的数据集$x^{(i)}$）和$\theta$，如何确定$y^{(i)}$的分布？这个概率由$p(\vec{y}|X;\theta )$表示，它是$\vec{y}$关于$\theta$的函数。而当我们把它看成是一个关于$\theta$的函数时，这个函数就可以称为似然函数：

$$L(\theta )=L(\theta ;X,\vec{y})=p(\vec{y}|X;\theta ).$$

又我们假设${ϵ}^{(i)}$是独立的，上式可改写为：

$$\begin{array}{rl}L(\theta )& =\prod _{i=1}^{m}p(y^{(i)}|x^{(i)};\theta )\\ & =\prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }\text{exp}\left(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2}\right)\end{array}$$

为了求极大似然，使用对数似然函数可以简化我们的计算：

$$\begin{array}{rl}\ell (\theta )& =\text{log}L(\theta )\\ & =\text{log}\prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }\text{exp}\left(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2}\right)\\ & =\sum _{i=1}^m\text{log}\frac{1}{\sqrt{2\pi }\sigma }\text{exp}\left(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2}\right)\\ & =m\text{log}\frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{{\sigma }^2}\cdot \frac{1}{2}\sum _{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2.\end{array}$$

而这时我们就可以发现极大似然估计和最小均方差是同解的：

$$\frac{1}{2}\sum _{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2$$

上式就是原始最小方差成本函数$J(\theta )$。

总结： 在之前的概率假设下，最小方差回归和寻找$\theta$的极大似然估计是对应的。在这一系列假设下，最小方差回归是处理极大似然估计的直接方法。
需要注意一点，最后参数$\theta$的选择和方差${\sigma }^2$是无关的，实际上即使${\sigma }^2$不知道我们也可推出已上结论。这一点在后面的指数族和生成线性模型中也会有应用。