L1正则化
L1正则化,也称为Lasso正则化,是一种在机器学习中常用的正则化技术,特别是在处理回归问题时。L1正则化通过在损失函数中添加一个惩罚项来工作,这个惩罚项是模型参数的绝对值的和。L1正则化的目的是减少模型复杂度,防止过拟合,并且有助于特征选择。
L1正则化的效果是推动模型参数向零点移动,但不会完全将它们设置为零。这与L2正则化(也称为岭回归或Ridge正则化)不同,后者会将参数值缩小,但不会将它们设置为零。因此,L1正则化可以用于特征选择,因为它可以使得不重要的特征参数的绝对值减小到零,从而在解中排除这些特征。
L2正则化
L2正则化,也被称为欧几里得正则化或岭回归(Ridge Regression),是一种在机器学习中广泛使用的正则化技术。它通过在损失函数中添加一个参数的平方和的惩罚项来工作,目的是减少模型的复杂度并防止过拟合。
参数收缩:通过惩罚参数的平方,L2正则化会使得参数值变小,但不会将它们设置为零。这意味着L2正则化不会进行特征选择。
数值稳定性:L2正则化有助于提高数值稳定性,特别是在处理具有高度相关特征的数据集时。
梯度下降:在优化过程中,L2正则化项的梯度是参数的线性函数,这使得梯度下降算法更容易收敛。
都是概念,要是想理解原理可以参考下面的b站链接地址
https://www.bilibili.com/video/BV1fR4y177jP/?spm_id_from=333.1007.top_right_bar_window_history.content.click&vd_source=57dbf34790db6e7026d00ec1563ec19f