从贝叶斯的角度看正则化

一、正则化

一般来说，监督学习可以看做最小化下面的目标函数：

其中，第一项L(y_i,f(x_i;w)) 衡量我们的模型（分类或者回归）对第i个样本的预测值f(x_i;w)和真实的标签y_i之前的误差。因为我们的模型是要拟合我们的训练样本的嘛，所以我们要求这一项最小，也就是要求我们的模型尽量的拟合我们的训练数据。但正如上面说言，我们不仅要保证训练误差最小，我们更希望我们的模型测试误差小，所以我们需要加上第二项，也就是对参数w的规则化函数Ω(w)去约束我们的模型尽量的简单。其中这个规则化函数就是我们常见的L0,L1,L2范数。

     模式识别理论中，常提到的正则化到底是干什么的？渐渐地，听到的多了，看到的多了，再加上平时做东西都会或多或少的接触，有了一些新的理解。

1. 正则化的目的：防止过拟合！

2. 正则化的本质：约束（限制）要优化的参数。

二、贝叶斯理论

        贝叶斯决策理论是主观贝叶斯派归纳理论的重要组成部分。 贝叶斯决策就是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。

贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是：
1. 已知类条件概率密度参数表达式和先验概率
2. 利用贝叶斯公式转换成后验概率
3. 根据后验概率大小进行决策分类

设D1，D2，……，Dn为样本空间S的一个划分，如果以P(Di)表示事件Di发生的概率，且P(Di)>0(i=1，2，…，n)。

对于任一事件x，P(x)>0，如图

三、从贝叶斯角度理解正则化

从我们平时最为熟悉的最小二乘回归、Ridge 回归和LASSO 回归入手。

从概率论的角度：
Least Square 的解析解可以用 Gaussian 分布以及最大似然估计求得
Ridge 回归可以用 Gaussian 分布和最大后验估计解释
LASSO 回归可以用 Laplace 分布和最大后验估计解释

给定观察数据D, 贝叶斯方法通过最大化后验概率估计参数w。

其中

• p(D|w)是似然函数(likelihood function): 参数向量w的情况下，观测数据D出现的概率

• p(w)是参数向量的先验概率(prior)

对于似然函数部分有： 

则，对后验概率取对数有：

当先验概率分布满足正态分布的时候

代入式子展开可以得到

对比下式

可以看到，似然函数部分对应于损失函数（经验风险），而先验概率部分对应于正则项。L2正则，等价于参数w的先验概率分布满足正态分布。

当先验概率分布满足拉普拉斯分布的时候

可以得到

L1正则，等价于参数w的先验概率分布满足拉普拉斯分布。

拉普拉斯分布是怎样的？

对比拉普拉斯分布和高斯分布，可以看到拉普拉斯分布在0值附近突出；而高斯分布在0值附近分布平缓，两边分布稀疏。对应地，L1正则倾向于产生稀疏模型，L2正则对权值高的参数惩罚重。

从贝叶斯角度，正则项等价于引入参数的先验概率分布。常见的L1/L2正则，分别等价于引入先验信息：参数符合拉普拉斯分布/高斯分布。

可以结合https://www.zhihu.com/question/23536142/answer/90135994知乎上的这篇解释一起看。