过拟合是在模型训练过程中会时常出现的问题,往往表现为训练误差较小,而验证误差较大。数据集的复杂程度以及模型容量的过大都是导致过拟合的影响因素。
而为了控制模型容量让他不至于太大有两个方法:
1、减少参数个数。
2、限制参数范围。
权重衰退就是通过限制参数值的选择范围来控制容量模型。
使用均方范数作为硬性限制
首先说一下使用均方范数作为硬性限制
在求最小化损失
模型训练过程中,给权重w添加一个硬性限制要求
。这样模型中的所有参数都被硬性的控制在了一个范围之类。
并且通常对偏置项b不做限制,因为限不限制都差不多。
小的意味着更强的正则