处理过拟合的方法之权重衰退

再给我一个学习的机会

已于 2024-02-23 23:54:18 修改

阅读量231

点赞数 10

文章标签：机器学习算法人工智能

于 2024-02-23 23:38:25 首次发布

本文链接：https://blog.csdn.net/qq_45951583/article/details/136264435

版权

本文讨论了过拟合问题及其在模型训练中的影响，介绍了通过减少参数个数和使用均方范数进行硬性或柔性限制来控制模型容量的方法，特别强调了权重衰退在深度学习中的应用，包括使用拉格朗日乘子法和学习率调整以防止参数过大。

摘要由CSDN通过智能技术生成

过拟合是在模型训练过程中会时常出现的问题，往往表现为训练误差较小，而验证误差较大。数据集的复杂程度以及模型容量的过大都是导致过拟合的影响因素。

而为了控制模型容量让他不至于太大有两个方法：

1、减少参数个数。

2、限制参数范围。

权重衰退就是通过限制参数值的选择范围来控制容量模型。

使用均方范数作为硬性限制

首先说一下使用均方范数作为硬性限制

在求最小化损失 $min$ $loss\left ( w, b\right )$ 模型训练过程中,给权重w添加一个硬性限制要求 $\left | w \right |^{2}\leq \theta$ 。这样模型中的所有参数都被硬性的控制在了一个范围之类。

并且通常对偏置项b不做限制，因为限不限制都差不多。

小的 $\theta$ 意味着更强的正则项。

使用均方范数作为柔性限制

在实际过程中，对参数做硬性限制操作难度较大，并且计算量较大，所以就有了做柔性限制。

于是在硬性限制的基础上，对每个 $\theta$ ，都可以找到 $\lambda$ 使得之前的目标函数等价于 $min$ $loss\left ( w, b \right )+\frac{\lambda }{2}\left | w \right |^{2}$ ,可以通过拉格朗日乘子法证明这样是添加了一个限制，这里不做证明。

通过了一个超参数 $\lambda$ 控制了正则项的重要程度，当 $\lambda$ =0的时候正则项无作用，当 $\lambda$ 趋向于无穷的时候，w趋向于0.

在使用柔性限制的时候参数更新的法则

首先肯定还是根据损失计算梯度：

$\frac{\partial }{\partial w}\left ( loss\left ( w, b \right )+\frac{\lambda }{2}\left | w \right |^{2} \right )= \frac{\partial loss\left ( w, b \right )}{\partial w}+\lambda w$

然后对参数进行更新：

$w_{t+1}= w_{t}-\eta \left ( \frac{\partial loss\left (w_{t} , b \right )}{\partial w_{t}} +\lambda w_{t}\right )= \left ( 1-\eta \lambda \right )w_{t}-\eta \frac{\partial loss\left (w_{t} , b \right )}{\partial w_{t}}$