所谓高偏差,意思是训练集误差(train error)和验证集误差(cv error)都很大。高偏差意味着模型太简单了,不足以准确描述实际的数据分布,对应“欠拟合”(underfit)。这时,即便增大训练数据集的量,也不会带来训练误差的减小。
高偏差对应下图左侧的简单模型,d=1表示只有一维特征。
而高方差时,训练集误差小,但验证集误差很大。模型在训练集和验证集上的表现不一致,对应“过拟合”(overfit)。高方差意味着模型足够复杂,但学习得过头了,让一些噪声数据过度影响模型分布,使得模型反而不能反映实际的数据分布。
以前我不是很理解偏差、方差的直观意思,现在有一点懂了。偏差是对模型拟合准确性的衡量,是用来评价模型预测结果与实际样本的误差幅度。方差则是对模型泛化性能的衡量,模型足够复杂能够有效拟合训练数据,但很多都是对噪点的拟合,导致对验证集样本的预测不够准确。高方差时,训练样本每变化一些模型参数会发生比较剧烈的变化;而低方差时,训练样本的变化不会导致模型参数发生剧烈的变化。