正则化(Regularization)是一种在机器学习和统计建模中常用的技术,用于防止模型过拟合(overfitting)。过拟合是指模型在训练数据上表现得很好,但对新的、未见过的数据泛化能力差。正则化通过在模型的损失函数中添加一个额外的项来实现,这个额外的项通常与模型的复杂度相关。
正则化的主要目的是:
- 约束模型参数:通过限制模型参数的大小,避免模型学习到过于复杂的表示。
- 提高模型的泛化能力:使模型在未知数据上也能有较好的表现。
常见的正则化技术包括:
- L1 正则化(Lasso 正则化):在损失函数中添加参数的绝对值之和,促使模型学习到的参数尽可能稀疏(即有更多的参数为零),这有助于特征选择。
Regularization Term = λ ∑ i = 1 n ∣ w i ∣ \text{Regularization Term} = \lambda \sum_{i=1}^n |w_i| Regularization Term=λi=1∑n∣wi∣.
-
L2 正则化(Ridge 正则化):在损失函数中添加参数的平方和,这会使得参数值尽可能小,但不会稀疏化。
Regularization Term = λ ∑ i = 1 n w i 2 \text{Regularization Term} = \lambda \sum_{i=1}^n w_i^2 Regularization Term=λi=1∑nwi2 -
弹性网(Elastic Net)正则化:结合了L1和L2正则化,同时惩罚参数的绝对值和平方值。
Regularization Term = λ 1 ∑ i = 1 n ∣ w i ∣ + λ 2 ∑ i = 1 n w i 2 \text{Regularization Term} = \lambda_1 \sum_{i=1}^n |w_i| + \lambda_2 \sum_{i=1}^n w_i^2 Regularization Term=λ1i=1∑n∣wi∣+λ2i=1∑nwi2
其中, λ \lambda λ(或 λ 1 \lambda_1 λ1 和 λ 2 \lambda_2 λ2)是正则化系数,控制正则化项的强度。这些系数是超参数,通常通过交叉验证等方法来选择。
正则化在各种机器学习算法中都有应用,包括线性回归、逻辑回归、支持向量机等。通过正则化,可以平衡模型的偏差(bias)和方差(variance),从而提高模型在新数据上的预测性能。