1、L1正则化 L1正则化算法用来防止过拟合时,是在损失函数上加入 ∣ ∣ w ∣ ∣ ||w|| ∣∣w∣∣,如下式所示: 在优化损失函数的时候L1正则化会产生稀疏矩阵,导致一部分w为0,注意这也是L1正则化的核心思想。产生稀疏矩阵之后,一部分w为0,一部分不为0,这样即可对特征进行选择。选择比较重要、明显的特征作为分类和预测的依据,抛弃那些不重要的特征。