学习机误差原因

本文为整合而成的学习笔记：

（1）https://blog.csdn.net/sinat_22594309/article/details/76040973?utm_source=copy

（2）https://blog.csdn.net/zaqwsxedcd/article/details/76522033

 

误差原因与模型复杂度

误差原因（Error）：用于测量模型性能的基本指标

在模型预测中，模型可能出现的误差来自两个主要来源，即：因模型无法表示基本数据的复杂度而造成的偏差（bias），或者因模型对训练它所用的有限数据过度敏感而造成的方差（variance）。

 

偏差：准确率和欠拟合

      如果模型具有足够的数据，但因不够复杂而无法捕捉基本关系，则会出现偏差。这样一来，模型一直会系统地错误表示数据，从而导致准确率降低。这种现象叫做欠拟合（underfitting）。简单来说，如果模型不适当，就会出现偏差。举个例子：如果对象是按颜色和形状分类的，但模型只能按颜色来区分对象和将对象分类（模型过度简化），因而一直会错误地分类对象。

 

方差：精度和过拟合

      在训练模型时，通常使用来自较大训练集的有限数量样本。如果利用随机选择的数据子集反复训练模型，可以预料它的预测结果会因提供给它的具体样本而异。在这里，方差（variance）用来测量预测结果对于任何给定的测试样本会出现多大的变化。
      出现方差是正常的，但方差过高表明模型无法将其预测结果泛化到更多的数据。对训练集高度敏感也称为过拟合（overfitting），而且通常出现在模型过于复杂或我们没有足够的数据支持它时。通常，可以利用更多数据进行训练，以降低模型预测结果的方差并提高精度。如果没有更多的数据可以用于训练，还可以通过限制模型的复杂度来降低方差。

 

过拟合原因：

1、 噪声。由于过分追求训练集的正确率，导致训练集中的一些噪声或例外也被拟合在我们的模型之中，这样分类器在实际使用时出现较高的错误率就是不可避免的了。

2、 缺乏代表性的样本。这种情况通常出现在数据集比较小的情况，由于训练数据不够或者很不平衡，导致对于某些种类缺乏代表性样本，模型实际拿来预测的时候效果不好也就是意料之中的事儿了。

3、 多重比较过程。首先解释一下多重比较过程，假如预测某一件事成功的概率为0.1，对于某个个体来说，确实成功的概率不高，但假如让50个人同时来预测这件事，假设他们是独立的，那么50个人中有人成功的概率会很高。这在决策树构建的过程中也是这样，我们往往会设定一个阈值，然后用增益是否大于这个阈值来决定是否要拓展决策树，然而数据的属性是很多的，我们在选择的时候其实就相当于是一个多重比较的过程，这样找到一个划分节点的几率就会大大增加，但其实这样是有欺骗性的。

--------------------------- 

入门笔记，如有偏误，请指正！

 

 

转载于:https://www.cnblogs.com/mypuerility/p/9777444.html