从贝叶斯角度深入理解正则化

一、正则化

一般来说，监督学习可以看做最小化下面的目标函数：

其中，第一项L(y_i,f(x_i;w)) 衡量我们的模型（分类或者回归）对第i个样本的预测值f(x_i;w)和真实的标签y_i之前的误差。因为我们的模型是要拟合我们的训练样本的嘛，所以我们要求这一项最小，也就是要求我们的模型尽量的拟合我们的训练数据。但正如上面说言，我们不仅要保证训练误差最小，我们更希望我们的模型测试误差小，所以我们需要加上第二项，也就是对参数w的规则化函数Ω(w)去约束我们的模型尽量的简单。其中这个规则化函数就是我们常见的L0,L1,L2范数。

     模式识别理论中，常提到的正则化到底是干什么的？渐渐地，听到的多了，看到的多了，再加上平时做东西都会或多或少的接触，有了一些新的理解。

1. 正则化的目的：防止过拟合！

2. 正则化的本质：约束（限制）要优化的参数。

二、贝叶斯理论

        贝叶斯决策理论是主观贝叶斯派归纳理论的重要组成部分。 贝叶斯决策就是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。

贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是：
1. 已知类条件概率密度参数表达式和先验概率
2. 利用贝叶斯公式转换成后验概率
3. 根据后验概率大小进行决策分类

设D1，D2，……，Dn为样本空间S的一个划分，如果以P(Di)表示事件Di发生的概率，且P(Di)>0(i=1，2，…，n)。

对于任一事件x，P(x)>0，如图