机器学习之模型的泛化与正则化

1. 模型的泛化与正则化

1.1 概念

泛化（Generalization）指的是模型在见过的训练数据以外的数据上表现良好的能力。换句话说，泛化能力衡量的是一个模型在新、未见过的数据上的性能。
正则化（Regularization）是一种防止机器学习模型过拟合的技术。它通过在损失函数中添加额外的项来约束或惩罚模型的复杂度，从而使模型更简洁、更通用。

主要的正则化方法有两种：L1 正则化和 L2 正则化。

L1正则化（Lasso正则化）通过在损失函数中添加权重系数的绝对值和作为惩罚项：
损失函数=原始函数+ $\lambda {\sum }_j\left|{\omega }_j\right|$
其中，𝜆是正则化参数，控制惩罚项的强度。L1 正则化可以导致一些权重变为零，从而实现特征选择.
L2正则化（Ridge正则化）通过在损失函数中添加权重系数的平方和作为惩罚项：
损失函数=原始函数+$\lambda {\sum }_j{\omega }_j^2$
同样，𝜆是正则化参数。L2 正则化不会使权重变为零，但会使权重值尽可能小，从而避免过拟合。

1.2 岭回归和LASSO回归

在原始的损失函数后添加正则项，可以减小模型学习到的$\omega$大小，可以使模型的泛化能力更强。在带有正则化项的线性回归中，目标是最小化正则化后的损失函数。
L1正则化（LASSO回归）：$$mi{n}_{\omega }(\sum _{i=1}^n{\left(y_i-{\hat{y}}_i\right)}^2+\lambda \sum _{j=1}^m|$$