深度学习之L1,L2正则化

L1正则化

L1正则化，也称为Lasso正则化，是一种在机器学习中常用的正则化技术，特别是在处理回归问题时。L1正则化通过在损失函数中添加一个惩罚项来工作，这个惩罚项是模型参数的绝对值的和。L1正则化的目的是减少模型复杂度，防止过拟合，并且有助于特征选择。

L1正则化的效果是推动模型参数向零点移动，但不会完全将它们设置为零。这与L2正则化（也称为岭回归或Ridge正则化）不同，后者会将参数值缩小，但不会将它们设置为零。因此，L1正则化可以用于特征选择，因为它可以使得不重要的特征参数的绝对值减小到零，从而在解中排除这些特征。

L2正则化

L2正则化，也被称为欧几里得正则化或岭回归（Ridge Regression），是一种在机器学习中广泛使用的正则化技术。它通过在损失函数中添加一个参数的平方和的惩罚项来工作，目的是减少模型的复杂度并防止过拟合。

参数收缩：通过惩罚参数的平方，L2正则化会使得参数值变小，但不会将它们设置为零。这意味着L2正则化不会进行特征选择。
数值稳定性：L2正则化有助于提高数值稳定性，特别是在处理具有高度相关特征的数据集时。
梯度下降：在优化过程中，L2正则化项的梯度是参数的线性函数，这使得梯度下降算法更容易收敛。

都是概念，要是想理解原理可以参考下面的b站链接地址

https://www.bilibili.com/video/BV1fR4y177jP/?spm_id_from=333.1007.top_right_bar_window_history.content.click&vd_source=57dbf34790db6e7026d00ec1563ec19f

看完这个视频应该会对正则化有一个清晰的认识