线性回归(频率学派-最大似然估计)与岭回归(贝叶斯角度-最大后验估计)的概率解释

线性回归的损失函数

$$J(\theta )=\frac{1}{2}\sum _{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2$$

线性回归-最小二乘的概率解释（频率学派-最大似然估计）

当我们面对回归问题时，为什么会采用线性回归，最小二乘法来定义成本函数，即1/2的差的平方和。

这里给出概率解释：

我们拟合的直线的函数值即预测值必然和真实值会存在误差。那么假定一个等式：
$$y^{(i)}={\theta }^T{x}^{(i)}+ϵ$$

其中各个样本的误差项，是独立同分布且服从高斯分布（正态分布）。（可根据中心极限定理来看）

即就是：
$${ϵ}^{(i)}\sim N(0,{\sigma }^2)$$
$$P({ϵ}^{(i)})=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2})$$

均值为0，容易理解.

所以，

$$P(y^{(i)}|x^{(i)};\theta )=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2})$$

也就是要面对 在$\theta$为参数给定一个x时预测值y是真实值的概率服从正太分布，要求得概率最大时的？

使用最大似然估计：
$$\begin{array}{rl}L(\theta )& =\prod _{i=1}^{m}p\left(y^{(i)}|x^{(i)};\theta \right)\\ & =\prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{{\left(y^{(i)}-{\theta }^T{x}^{(i)}\right)}^2}{2{\sigma }^2}\right)\end{array}$$
$$\begin{array}{rl}l(\theta )& =\ln (L(\theta ))\\ & =\ln \prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{{\left(y^{(i)}-{\theta }^T{x}^{(i)}\right)}^2}{2{\sigma }^2}\right)\\ & =\sum _{i=1}^m\ln \frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{{\left(y^{(i)}-{\theta }^T{x}^{(i)}\right)}^2}{2{\sigma }^2}\right)\\ & =mln\frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{{\sigma }^2}\cdot \frac{1}{2}\sum _{i=1}^m{\left(y^{(i)}-{\theta }^T{x}^{(i)}\right)}^2\end{array}$$
根据此过程，要求此函数的最大值 ，需求上式中后项函数 $J(\theta )$ 的最小值，
$$J(\theta )=\frac{1}{2}\sum _{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2$$

此函数又即为最小二乘估计的目标函数。

岭回归的损失函数

$$J(\theta )=\frac{1}{2}\sum _{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2+\lambda ||\theta |{|}_2^2$$

岭回归的概率解释（贝叶斯学派-最大后验估计）

以贝叶斯学派得角度来看：

我们引入高斯噪声 $ϵ$ 来看可以知道：
$$y^{(i)}|\theta \sim N(0,{\sigma }_0^2)$$

也就是：
$$P(y|\theta )=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y^{}-{\theta }^T{x}^{}{)}^2}{2{\sigma }^2})$$

我们假定参数 $\theta$ 也服从一个高斯分布：
$$P(\theta )=\frac{1}{\sqrt{2\pi }{\sigma }_0}exp(-\frac{||\theta |{|}_2^2}{2{\sigma }_0^2})$$

以及贝叶斯定理：
$$P(\theta |y)=\frac{P(y|\theta )P(\theta )}{P(y)}$$

根据最大后验估计：

$$\begin{array}{rl}\hat{\theta }& =\arg \underset{\theta }{\max }P(\theta |y)=\arg \max P(y|\theta )\cdot P(\theta )\\ & =\arg \underset{\theta }{\max }\log [P(y|\theta )\cdot P(\theta )]\\ & =\arg \underset{\theta }{\max }\log \left(\frac{1}{\sqrt{2\pi }\sigma }\cdot \frac{1}{\sqrt{2\pi }{\sigma }_0}\right)+\log \exp \left\{-\frac{{\left(y-{\theta }^{2}x\right)}^2}{2{\sigma }^2}-\frac{\Vert \theta {\Vert }^2}{2{\sigma }_0^2}\right\}\\ & =\arg \underset{\theta }{\min }\frac{{\left(y-{\theta }^{2}x\right)}^2}{2{\sigma }^2}+\frac{\Vert \theta {\Vert }^2}{2{\sigma }_0^2}\\ & =\arg \underset{\theta }{\min }{\left(y-{\theta }^{2}x\right)}^2+\frac{{\sigma }^2}{{\sigma }_0^2}\Vert \theta {\Vert }^2\end{array}$$

MAP: $$\widehat{{\theta }_{MAP}}=\arg \underset{\theta }{\min }\sum _{i=1}m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2+\frac{{\sigma }^2}{{\sigma }_0^2}||\theta |{|}^2$$

岭回归：$$J(\theta )=\sum _{i=1}m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2+\lambda ||\theta |{|}^2$$

结论

最小二乘估计 LSE <==> 极大似然估计 MLE（noise 为 高斯分布）
正则化最小二乘 RLSE <==> 最大后验概率估计MAP（先验和噪声均为高斯分布）

最大后验估计与最大似然估计

最大后验概率估计MAP相比于最大似然估计MLP多了一个假定服从某种分布的先验知识。

参见 详解最大似然估计（MLE）、最大后验概率估计（MAP），以及贝叶斯公式的理解 这篇博客。