正则化（Regularization）

正则化（Regularization）是一种在机器学习和统计建模中常用的技术，用于防止模型过拟合（overfitting）。过拟合是指模型在训练数据上表现得很好，但对新的、未见过的数据泛化能力差。正则化通过在模型的损失函数中添加一个额外的项来实现，这个额外的项通常与模型的复杂度相关。

正则化的主要目的是：

1. 约束模型参数：通过限制模型参数的大小，避免模型学习到过于复杂的表示。
2. 提高模型的泛化能力：使模型在未知数据上也能有较好的表现。

常见的正则化技术包括：

1. L1 正则化（Lasso 正则化）：在损失函数中添加参数的绝对值之和，促使模型学习到的参数尽可能稀疏（即有更多的参数为零），这有助于特征选择。

$$\text{Regularization Term}=\lambda \sum _{i=1}^n|w_i|$$.

2. L2 正则化（Ridge 正则化）：在损失函数中添加参数的平方和，这会使得参数值尽可能小，但不会稀疏化。
   $$\text{Regularization Term}=\lambda \sum _{i=1}^n{w}_i^2$$

3. 弹性网（Elastic Net）正则化：结合了L1和L2正则化，同时惩罚参数的绝对值和平方值。
   $$\text{Regularization Term}={\lambda }_1\sum _{i=1}^n|w_i|+{\lambda }_2\sum _{i=1}^n{w}_i^2$$

其中，$$\lambda$$（或 $${\lambda }_1$$ 和 $${\lambda }_2$$）是正则化系数，控制正则化项的强度。这些系数是超参数，通常通过交叉验证等方法来选择。

正则化在各种机器学习算法中都有应用，包括线性回归、逻辑回归、支持向量机等。通过正则化，可以平衡模型的偏差（bias）和方差（variance），从而提高模型在新数据上的预测性能。