深度学习——Bias和Variance

图中的最优位置，实际上是 total error 曲线的拐点。我们知道，连续函数的拐点意味着此处一阶导数的值为 0。考虑到 total error 是偏差与方差的加和，所以我们有，在拐点处：

公式给出了寻找最优平衡点的数学描述。若模型复杂度大于平衡点，则模型的方差会偏高，模型倾向于过拟合；若模型复杂度小于平衡点，则模型的偏差会偏高，模型倾向于欠拟合。

 

过拟合，也就是我对训练样本能够百分百命中了，超级拟合了，但是测试时候就掉链子，拟合很差，也就是我们说的泛化性能不好的问题，所以如果太追求在训练集上的完美而采用一个很复杂的模型，会使得模型把训练集里面的噪声都当成了真实的数据分布特征，从而得到错误的数据分布估计。

一句话，过拟合会出现高方差问题

欠拟合：训练样本太少，导致模型就不足以刻画数据分布了，体现为连在训练集上的错误率都很高的现象。

一句话，欠拟合会出现高偏差问题

怎么避免过拟合和欠拟合

避免欠拟合(刻画不够)

1. 寻找更好的特征-----具有代表性的
2. 用更多的特征-----增大输入向量的维度

避免过拟合(刻画太细，泛化太差)

1. 增大数据集合-----使用更多的数据，噪声点比重减少
2. 减少数据特征-----减小数据维度，高维空间密度小
3. 正则化方法-----即在对模型的目标函数（objective function）或代价函数（cost function）加上正则项
4. 交叉验证方法