【机器学习个人笔记】用sklearn实现特征正则化Regularization

【机器学习个人笔记】用sklearn实现特征正则化

我们在学习机器学习的时候会经常听到正则化（Regularization），其一般是用于改善或者减少过度拟合问题。
下图是一个回归问题的例子：

第一个模型是一个线性模型，欠拟合，不能很好地适应我们的训练集；第三个模型是一
个四次方的模型，过于强调拟合原始数据，而丢失了算法的本质：预测新数据。我们可以看
出，若给出一个新的值使之预测，它将表现的很差，是过拟合，虽然能非常好地适应我们的
训练集但在新输入变量进行预测时可能会效果不好；而中间的模型似乎最合适。

分类问题中也存在这样的问题：

就以多项式理解，x 的次数越高，拟合的越好，但相应的预测的能力就可能变差。
问题是，如果我们发现了过拟合问题，应该如何处理？

1. 丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征，或者使用
   一些模型选择的算法来帮忙（例如 PCA）
2. 正则化