在进行模型训练时,我们如何确定模型达到了最优呢?
监督学习有两种策略:经验风险最小化和结构风险最小化。
参考: 什么是经验风险?什么是结构风险?
经验风险最小化的策略认为,经验风险最小的模型就是最优的模型。求解问题模型表达式如下:
当训练数据集的样本个数很少时,经验风险最小化的策略很容易产生过拟合现象。结构风险最小化策略可以防止过拟合。
结构风险最小化的策略认为,结构风险最小的模型就是最优的模型。求解问题模型表达式如下:
结构风险最小化,就是在训练误差和模型复杂度之间寻求平衡,以解决过拟合问题。从而达到真实误差的最小化。