【python机器学习】——正则化

正则化 regularization

正则化的目的

正则化是机器学习中的一种技术，主要用于减少模型的复杂度，防止过拟合，提高模型的泛化能力。过拟合是指模型在训练数据上学习得非常好，但在未知数据上表现不佳。为了避免这种情况，我们可以通过正则化来惩罚模型的参数，使得模型变得更简单。

正则化的目的主要有以下几点：

1.防止过拟合：通过限制模型的复杂度，正则化有助于防止模型在训练数据上过度拟合，从而提高模型在未知数据上的表现。

2.提高泛化能力：正则化可以使得模型在训练数据和测试数据之间取得更好的平衡，从而提高模型的泛化能力。

3.减少模型参数：正则化会使得部分参数的值变得更小，从而减少模型的参数数量，使得模型更简单。

4.加速模型训练：正则化可以减少模型的参数数量，从而加速模型的训练过程。

过拟合和欠拟合

(1) under fit：还没有拟合到位，训练集和测试集的准确率都还没有到达最高。
(2) over fit：拟合过度，训练集的准确率升高的同时，测试集的准确率反而降低。学的过
度了，做过的卷子都能再次答对，考试碰到新的没见过的题就考不好。
(3) just right：过拟合前训练集和测试集准确率都达到最高时刻。学习并不需要花费很多
时间，理解的很好，考试的时候可以很好的把知识举一反三。真正工作中我们是奔着过
拟合的状态去调的，但是最后要的模型肯定是没有过拟合的。
如下图所示：
正则化就是防止过拟合，增加模型的鲁棒性 robust，鲁棒是 Robust 的音译，也就是强壮的意思。鲁棒性调优就是让模型拥有更好的鲁棒性，也就是让模型的泛化能力和推广能