正则化L1、L2

目录

L1:

L2：​

BN

---

 

L1:

L1范数是指向量中各个元素绝对值之和。

公式：，LR中导数不连续，只能用坐标下降法进行优化。

惩罚项表示为图中的黑色棱形，随着梯度下降法的不断逼近，与棱形第一次产生交点，而这个交点很容易出现在坐标轴上。这就说明了L1正则化容易得到稀疏矩阵。

为什么可以用来选择特征：易使的参数矩阵稀疏，则非0的参数对应的特征可以认为对模型的共现比较多，为重要特征。

L2：

L2范数定义为向量所有元素的平方和的开平方。

公式：，L表示为图中的黑色圆形，随着梯度下降法的不断逼近，与圆第一次产生交点，而这个交点很难出现在坐标轴上。这就说明了L2正则化不容易得到稀疏矩阵，同时为了求出损失函数的最小值，使得w1和w2无限接近于0，达到防止过拟合的问题。

线性回归中的L1、L2：

• L1正则化(Lasso回归)可以使得一些特征的系数变小,甚至还使一些绝对值较小的系数直接变为0，从而增强模型的泛化能力 。对于高的特征数据,尤其是线性关系是稀疏的，就采用L1正则化(Lasso回归),或者是要在一堆特征里面找出主要的特征，那么L1正则化(Lasso回归)更是首选了。
• 只要数据线性相关，用LinearRegression拟合的不是很好，需要正则化，可以考虑使用岭回归(L2), 如果输入特征的维度很高,而且是稀疏线性关系的话， L2就不太合适,考虑使用L1回归。

BN

概念

公式

训练和预测有什么区别