机器学习之过拟合

【前言】
线性回归和逻辑回归，它们能够有效地解决许多问题，但是当将它们应用到某些特定的机器学习应用时，会遇到 过度拟合(over-fitting) 的问题，可能会导致它们效果很差。这里介绍什么是过度拟合，过度拟合可以使用一种称为正则化(regularization)的技术来改善或者减少过度拟合问题。

---

1. 过度拟合模型对比

回归中的问题：

• 第一个模型是一个线性模型，欠拟合，不能很好地适应我们的训练集；
• 第三个模型是一个四次方的模型，过于强调拟合原始数据，而丢失了算法的本质：预测新数据。我们可以看出，若给出一个新的值使之预测，它将表现的很差，是过拟合，虽然能非常好地适应我们的训练集但在新输入变量进行预测时可能会效果不好；
• 第二个模型似乎最合适。

分类中的问题：

就以多项式理解，x 的次数越高，拟合的越好，但相应的预测的能力就可能变差。

2. 如何处理过拟合

问题是，如果我们发现了过拟合问题，应该如何处理？

1. 丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征，或者使用一些模型选择的算法来帮忙（例如 PCA主成分分析，旨在利用降维的思想，把多指标转化为少数几个综合指标）
2. 正则化。 保留所有的特征，但是减少参数的大小（magnitude）

更多文章：https://blog.csdn.net/qq_33208851/article/details/95230847