ML 线性回归-过拟合-正则化

        在机器学习中，线性回归模型可能会遇到过拟合的问题，特别是当特征数量很多或者特者之间存在相关性时。正则化是一种减少过拟合的技术，通过在损失函数中添加一个额外的项来惩罚模型的复杂度。常用的正则化技术有两种：L1正则化（Lasso回归）和L2正则化（Ridge回归）

L1正则化

        L1正则化：通过向损失函数添加权重的绝对值之和来工作。这导致模型倾向于产生稀疏权重矩阵，即很多权重会变为零。L1的损失函数如下：

        优点：

                1. 稀疏性：L1正则化倾向于产生稀疏矩阵，即很多权重会变为0。这使得模型变得简单，易于解释

                2. 特征选择：由于L1正则化能够将不重要的特征权重压缩到0，它在特征选择方面非常有效。这有助于识别对模型预测最有影响力的特征。（dj思考：感觉L1正则化适用特征之间存在相关性的情况，从损失函数来看，如果特征之间存在相关性，保留一个特征既不会影响影响模型的精度又降低了损失函数）

                3. 抗多重共线性：当数据集中的特征高度相关时，L1正则化可以帮助减少模型的方差，提高模型的泛化能力（在遇到没有训练过的数据时模型的表现能力）

        适用情况：

                1. 特征数量多：当特征数量远大于样本数量时，L1正则化可以有效地减少过拟合

                2. 特征选择：如果你希望模型自动进行特征选择，L1正则化是一个不错的选择

                3. 数据集具有多重共线性（特征之间高度相关）：在特征之间存在高度相关性的情况下，L1正则化可以帮助模型更好地泛化

                4. 需要模型解释性

                5. 小样本问题：在样本数量比较少的情况下，L1正则化可以帮助避免过拟合

        局限性：

                1. 特征数量非常大时，求解L1正则化问题可能会比较慢

                2. 并且L1正则化问题可能没有唯一解

L2正则化

        L2 正则化通过向损失函数添加权重的平方和来工作。这导致模型倾向于使权重接近零但不完全为零，从而减少了模型复杂度，但不会将权重压缩到零。L2 正则化的损失函数如下：

        优点：

                1. 稳定性：L2正则化倾向于使所有权重都接近0，但不会把他们压缩到0，从而保持了模型的稳定性

                2. 避免过拟合：通过惩罚权重的平方和，L2正则化减少了模型复杂度，有助于避免过拟合

                3. 数值稳定性：L2正则化通常是凸优化问题，这意味着它有一个全局最优解，这为求解提供了稳定性

                4. 保持模型复杂度：L2正则化不会将权重减少到0，因此它允许模型保持一定的复杂度，这在某些情况下可以提高模型的预测能力。

        适用情况：

                1. 数据集特征数量适中：当特征数量不是非常大时，或者特征与目标变量之间的关系较为复杂时，L2正则化可以有效地工作

                2. 需要模型稳定性：

                3. 避免计算复杂性：当使用梯度下降等优化算法时，L2正则化问题通常更容易求解，因为它的梯度是连续可导的

                4. 数据集较大：在处理大型数据时，L2正则化可以提供更好的数值稳定性和收敛性

                5. 模型解释性需求不高：与L1正则化相比，L2正则化不会产生稀疏解，因此如果模型的解释性不是主要关注点，L2正则化可能更适合

总结：

        L1正则化适用小样本、解释性需求高、特征选择的情况，而L2适用大样本，解释性需求不高，且需要保持模型复杂度的情况。