模型选择之：偏差Bias与方差Variance

小结：

误差主要包含两部分，Bias与Variance。

以线性回归举例，回归函数可以表示为：

其中误差符合正态分布：

经过训练数据training以后得到的模型记作, 由于挑选训练数据的随机性，导致最终得到的模型也有一定的随机性，比如用数据集A训练得到的模型和用数据集B训练得到的模型参数可能是不一样的。

那么通过模型得到的预测值与真实值Y之间的误差用均方误差可以表示为：

，将 代入，得到：

             

Bias表示训练出来的模型与理想模型之间的误差，Variance表示训练出来的模型本身的分散程度。

用图表示为：

              

图中的红心可以表示为待预测数据的真实值。各蓝点可表示为通过多组随机训练数据集得到的模型分别给出的预测值。

对于左上角的图，理想情况下，偏差与方差都很小，经过多组随机挑选的训练数据得到的模型，对于待预测数据给出的预测值都与真实值接近，即有很好的泛化能力。

对于右上角的图，偏差（即误差均值）小，方差大，说明存在过拟合，图中的蓝点有的落在红心，有的与红心距离很远，那么对于未知数据来说，可能就会预测的不准，也就是说泛化能力比较差。

偏差与方差存在此消彼长的关系，随着模型复杂程度的增加，偏差在减小，方差在增大，最终会出现过拟合，因此需要找到一个平衡点。

 

                          

参考文献中指出，最佳平衡点出现在两条曲线倾斜程度相同的点，即：

 

 

参考：

http://scott.fortmann-roe.com/docs/BiasVariance.html