正则化和贝叶斯先验

参考自here
事实上如果从贝叶斯的观点，所有的正则化都是来自于对参数分布的先验。现在来看一下为什么Laplace先验会导出L1正则化，Gauss（高斯）先验会导出L2正则化。

高斯分布公式

$f(x)=\frac{1}{\sqrt{2\pi }\delta }exp(-\frac{(x-\mu {)}^2}{2{\delta }^2})$

最大似然估计

如果数据集$(X,Y)$，并且$Y$是有白噪声（就是与测量得到的$Y$与真实的$Y_{real}$有均值为零的高斯分布误差），目的是用新产生的$X$来得到$Y$，如果用线性模型来测量，那么有：
$f(x)={\sum }_i(x_i{\theta }_i)+ϵ=X{\theta }^T+ϵ$
其中$ϵ$是白噪声，即$ϵ$服从 $N(0,{\delta }^2)$分布。
一对数据集$(X_i,Y_i)$来用，在这个模型中用$X_i$得到$Y_i$的概率是$Y_i$服从$N(f(X_i),{\delta }^2)$:
$P(Y_i|X_i,\theta )=\frac{1}{\sqrt{2\pi }\delta }exp(-\frac{||f(X_i)-Y_i|{|}^2}{2{\delta }^2})$
假设数据集中每一对数据都是独立的，那么对于数据集来说由$X$得到$Y$的概率是：
$P(Y_i|X_i,\theta )={\prod }_i\frac{1}{\sqrt{2\pi }\delta }exp(-\frac{||f(X_i)-Y_i|{|}^2}{2{\delta }^2})$
根据决策论可知，可以使概率$P(Y|X,\theta )$最大的参数$\theta \ast$就是最好的参数。那么我们可以直接得到最大似然估计的直观理解：对于一个模型，调整参数$\theta$,使得用X得到Y的概率最大。那么$\theta$可由下式得到：

$$\begin{array}{rl}\theta \ast & =argma{x}_{\theta }(\prod _i\frac{1}{\sqrt{2\pi }ϵ}exp(-\frac{||f(X_i)-Y_i|{|}^2}{2{\delta }^2}))\\ & =argma{x}_{\theta }(-\frac{1}{2{\delta }^2}\sum _i||f(X_i)-Y_i|{|}^2+\sum _{i}ln(\delta \sqrt{2\pi }）\\ & =argmi{n}_{\theta }(\sum _i||f(X_i)-Y_i|{|}^2)\end{array}$$
从最大到最小，中间加了一步$L(\theta )$ — $lnL(\theta )$。
这就是最小二乘法计算公式，最小（min）二乘（平方） = 使得平方和最小。

所谓最小二乘，其实也可以叫做最小平方和，其目的就是通过最小化误差的平方和，使得拟合对象无限接近目标对象。换句话说，最小二乘法可以用于对函数的拟合。

拉普拉斯分布

概率密度函数分布为：
$f(x|\mu ,b)=\frac{1}{2b}exp(-\frac{|x-\mu |}{b})$
分布图像为：

可以看到拉普拉斯分布集中在$\mu$附近，而且b越小，分布越集中。

拉普拉斯先验

$P({\theta }_i)=\frac{\lambda }{2}exp(-\lambda |{\theta }_i|)$
其中$\lambda$是控制参数$\theta$集中情况的超采纳数，$\lambda$越大，参数的分布就越集中在0附近。
在前面所说的极大似然估计事实上是假设了$\theta$是均匀分布的，也就是$P(\theta )=constant$,我们要最大化后验估计，就是：