经验风险、期望风险和结构风险

经验风险

基于样本学习的经验进行决策的错误风险（或称由样本学习的经验进行决策所造成的损失）。将经验风险最小化，将会使模型对训练样本的学习能力增强，表现为拟合能力增强。显然，一味的经验风险最小化，会使得模型对训练样本过拟合。

期望风险

所谓期望，是对所有可能输入的分布的预测，假定输入的分布服从P(X)。则在此分布基础上进行样本训练时，每个样本在总体中的概率是已知的，故对每个训练样本进行决策时，其原来的经验风险可以重新描述为期望风险。由于考虑到了样本在总体中的分布（先验），此时的损失函数更为准确。然而，这种先验知识往往不会事先得到（虽然可以凭借经验进行预测，但始终不是总体的真是分布），因此期望风险是乌托邦。

结构风险

经验风险最小化带来过拟合，期望风险可望而不可即。重新考虑过拟合，一个模型过拟合是由于训练过程使得该模型的参数结构更倾向于让模型识别训练样本。为了减轻模型对训练样本的过拟合，只需要约束参数的结构向识别训练样本的方向发展，在经验风险的基础上加上一个正则化项（惩罚项）即可。此时的风险就是结构风险了。