L1，L2正则化

L1，L2正则化

正则化项即罚函数，该项对模型向量进行“惩罚”，从而避免单纯最小二乘问题的过拟合问题。训练的目的是最小化目标函数，则C越小，意味着惩罚越小，分类间隔也就越小，分类错误也就越少。【此处存疑，见评论】

正则化项本质上是一种先验信息，整个最优化问题从贝叶斯观点来看是一种贝叶斯最大后验估计，其中正则化项对应后验估计中的先验信息，损失函数对应后验估计中的似然函数，两者的乘积即对应贝叶斯最大后验估计的形式，如果你将这个贝叶斯最大后验估计的形式取对数，即进行极大似然估计，你就会发现问题立马变成了损失函数+正则化项的最优化问题形式。

(1) 避免出现过拟合（over-fitting）。经验风险最小化 + 正则化项 = 结构风险最小化。

(2) 从模型求解上看，正则化提供了一种唯一解的可能。光用最小二乘拟合可能出现无数组解，加个L1或L2正则化项能有唯一解。

L1范数是指向量中各个元素绝对值之和，用于特征选择; 

L2范数 是指向量各元素的平方和然后求平方根，用于 防止过拟合，提升模型的泛化能力

L1与L2区别：使用L1可以得到稀疏的权值；用L2可以得到平滑的权值

L1 regularization（往0方向靠）

有什么用呢

• L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择
• L2正则化可以防止模型过拟合（overfitting）；一定程度上，L1也可以防止过拟合

针对上面的说到的作用  L1: 产生一个稀疏模型，可以用于特征选择 ，下面来解释一下：

1. 为什么要生成一个稀疏矩阵？
2. 为什么L1正则化可以产生稀疏矩阵（L1是怎么让系数等于0的）

稀疏模型与特征选择

上面提到L1正则化有助于生成一个稀疏权值矩阵，进而可以用于特征选择。为什么要生成一个稀疏矩阵？

稀疏矩阵指的是很多元素为0，只有少数元素是非零值的矩阵，即得到的线性回归模型的大部分系数都是0。 

通常机器学习中特征数量很多，例如文本处理时，如果将一个词组（term）作为一个特征，那么特征数量会达到上万个（bigram）。在预测或分类时，那么多特征显然难以选择，但是如果代入这些特征得到的模型是一个稀疏模型，表示只有少数特征对这个模型有贡献，绝大部分特征是没有贡献的，或者贡献微小（因为它们前面的系数是0或者是很小的值，即使去掉对模型也没有什么影响），此时我们就可以只关注系数是非零值的特征。这就是稀疏模型与特征选择的关系。

从另一个角度来讲，为防止过拟合，我们考虑 W=(w 0 ,w 1 ,w 2 ,w 3 ,...w N ) 中的项的个数最小化。 

一句话，向量中0元素，对应的x样本中的项我们是不需要考虑的，可以砍掉。因为 0∗x i 没有啥意义，说明 x i  项没有任何权重。这也是正则项防止过拟合的一个原因。这里顺便解释一个L2比较好的原因：

L2范数是指向量各元素的平方和然后求平方根。我们让L2范数的正则项 ||W|| 2 最小，可以使得W的每个元素都很小，都接近于0，但与L1范数不同，它不会让它等于0，而是接近于0，这里是有很大的区别的哦；所以大家比起1范数，更钟爱2范数。

L1能产生等于0的权值，即能够剔除某些特征在模型中的作用（特征选择），即产生稀疏的效果。 

L2正则化可以防止模型过拟合（overfitting）

其实按照上面所说已经差不多可以理解为什么可以防止过拟合了，就是在拟合过程中通常都倾向于让权值尽可能小，最后构建一个所有参数都比较小的模型。因为一般认为参数值小的模型比较简单，能适应不同的数据集，一定程度上避免了过拟合现象

可以设想一下对于一个线性回归方程，若参数很大，那么只要数据偏移一点点，就会对结果造成很大的影响；但如果参数足够小，数据偏移得多一点也不会对结果造成什么影响，专业一点的说法是『抗扰动能力强』。