神经网络学习——方差与偏差

偏差

偏差又称为表观误差，是指个别测定值与测定的平均值之差，它可以用来衡量测定结果的精密度高低。
在统计学中，偏差可以用于两个不同的概念，即有偏采样与有偏估计。一个有偏采样是对总样本集非平等采样，而一个有偏估计则是指高估或低估要估计的量
偏差=个别测定值-测定的平均值

方差

在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。
概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。
统计中的方差（样本方差）是每个样本值与全体样本值的平均数之差的平方值的平均数。
在许多实际问题中，研究方差即偏离程度有着重要意义。
方差是衡量源数据和期望值相差的度量值。

神经网络中的偏差

含义：预测结果与真实值之间的差异
具体表现：神经网络模型过于简单，无法正确学习到样本的特征。这种状态即为高偏差状态。也称为数据“欠拟合”。

神经网络中的方差

含义：神经网络模型相对于数据样本来说过于复杂，虽然可以充分学习到样本的特征，但超出训练样本范围后，神经网络可能就无法正确分类。这种状态称为高方差状态。也称为数据“过拟合”。

衡量方式

一般可通过查看训练集与验证集误差来诊断。
评估偏差，一般看训练集
训练集误差大——偏差较高，欠拟合
评估方差，一般看验证集
训练集误差小，验证集误差大——方差较高，过拟合

解决高方差方法

1、正则化

2、增加训练数据