关于机器学习中的高偏差高方差

近期在B站看NG吴恩达老师的机器学习视频，收益颇多。在此也简单记录下关于高偏差高方差的笔记。

当我们在训练过程中，出现数据欠拟合现象，那么这个时候就会出现高偏差问题。由于模型过于简单，所以拟合的时候就会出现偏差，此时加大数据量也于事无补。比如数据的趋势是二次函数，用一次函数取拟合会出现高的偏差。高偏差代表训练误差很大，训练误差与测试误差差距小，随着样本数据增多，训练误差增大。

而当出现过拟合现象时，也就是数据过度的拟合会出现高方差问题，由于模型过于复杂，比如用10个数据特征去拟合3个数据会出现高的方差。虽然这个时候训练误差小，但是训练误差和测试误差的差距很大，我们可以通过增大样本来减小这个差距。随着样本数据增多，测试误差会减小。

那么怎判断是出现高偏差还是高方差呢？

我们一般采取判断这个函数是高方差还是高偏差，是通过观察训练误差与测试误差的差距，差距大说明是高方差的，差距小则说明是高偏差。

高偏差的解决方法：

1.寻找更好的特征（具有代表性的）

2.用更多的特征（增大输入向量的维度）

高方差的解决方法：

1.增大数据集合（使用更多的数据）

2.减少数据特征（减小数据维度）

 

下面附加一幅图帮助大家理解：