过拟合和欠拟合,梯度下降,knn,决策树

过拟合与欠拟合

欠拟合 指的是模型在训练和预测时表现都不好的情况,即训练误差与泛化误差都比较大,一般原因有以下几点:

模型过于简单，不能拟合数据中的规律；
数据集中有过多错误数据，造成干扰；
数据集中没有或者缺少能让模型有效学习规律的特征。
解决方法一般有:
    增加模型复杂度，让模型能够拟合更加复杂的规律，但这里应该注意，不要一味的增加模型复杂度，这会容易导致过拟合。
    检查数据集，修复或删除错误或异常数据，这样可以提高模型可达到的准确率。毕竟，你知道的，这句至理名言：数据决定最终的准确率，模型只是尽力去逼近这个值。
    增加数据的特征维度，添加一些新的特征，或者加入一些二次项或三次项这样的多项式特征。这样为模型提供更多特征，可以帮助模型更好地学习规律。

过拟合 指的是模型对于训练数据拟合程度过当的情况,训练误差很小但是泛化误差比较大,主要原因是训练数据中的噪音或者随机波动也被当做概念被模型学习了。而问题就在于这些概念不适用于新的数据，从而导致模型泛化性能的变差.解决方法一般有:

针对过拟合，我们可以采取下面几种方法来改善：

检查模型是否过于复杂，实际上，模型应该尽可能简单，过于复杂的模型，容易过拟合，而且即使没有造成严重的过拟合也违反了奥卡姆剃刀定律。
增加训练数据，这通常都会或多或少地提高模型的泛化能力，在数据量较少的时候，效果更加明显。如果获取更多数据有难度，那可以进行数据扩增，通过对现有数据进行适当修改来达到增加数据的目的。
. 使用正则化，对权重值进行约束，这样可以防止网络出现一些过大的权重值。
早停法。训练过程中监测验证集上的准确率，当准确率到达一定