处理过拟合的方法之权重衰退

再给我一个学习的机会

已于 2024-02-23 23:54:18 修改

阅读量262

点赞数 10

文章标签：机器学习算法人工智能

于 2024-02-23 23:38:25 首次发布

本文链接：https://blog.csdn.net/qq_45951583/article/details/136264435

版权

本文讨论了过拟合问题及其在模型训练中的影响，介绍了通过减少参数个数和使用均方范数进行硬性或柔性限制来控制模型容量的方法，特别强调了权重衰退在深度学习中的应用，包括使用拉格朗日乘子法和学习率调整以防止参数过大。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

过拟合是在模型训练过程中会时常出现的问题，往往表现为训练误差较小，而验证误差较大。数据集的复杂程度以及模型容量的过大都是导致过拟合的影响因素。

而为了控制模型容量让他不至于太大有两个方法：

1、减少参数个数。

2、限制参数范围。

权重衰退就是通过限制参数值的选择范围来控制容量模型。

使用均方范数作为硬性限制

首先说一下使用均方范数作为硬性限制

在求最小化损失 $min$ $loss\left ( w, b\right )$ 模型训练过程中,给权重w添加一个硬性限制要求 $\left | w \right |^{2}\leq \theta$ 。这样模型中的所有参数都被硬性的控制在了一个范围之类。

并且通常对偏置项b不做限制，因为限不限制都差不多。

小的 $\theta$ 意味着更强的正则

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

再给我一个学习的机会

关注关注

10
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

动手学深度学习V2.0(Pytorch)——12. 权重衰退

啷个哩个啷

10-27

1069

https://www.bilibili.com/video/BV1UK4y1o7dy?p=1

深度学习基础20（权重衰退以及代码实现详解）

FLR的博客

04-01

2397

权重衰减 ![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Ehy5R4fH-1648806333395)(C:\Users\Lenovo\Documents\Tencent Files\850604703\FileRecv\MobileFile\Image\O6Z4JUTQKQ5[F51]45}0~[B.png)](https://img-blog.csdnimg.cn/c14d72718c1a4d289631d2dbde576be0.png?x-oss-process=i

参与评论您还未登录，请先登录后发表或查看评论

动手学深度学习11 权重衰退

weixin_42831564的博客

04-19

792

每次都在权重更新之前对w做了一次放小(ηλ<1)，所以叫做权重衰退。lambda是控制模型参数的超参数。

17. 权重衰退（weight_decay）

weixin_47505105的博客

12-11

6015

笔记

权重衰减(Weight Decay)

m0_56312629的博客

12-16

4879

本文讲了权重衰减（权重衰退）的数学原理和具体使用方法

权重衰退（PyTorch）

不想随波逐流的大学生一枚，我们每个人都在努力奔跑

06-30

2866

权重衰退和正则项的影响本质以及Pytorch的代码实现

动手学深度学习笔记（一）——权重衰退

weixin_45169380的博客

12-12

3188

权重衰减的作用机理和实现

深度学习之权重衰退

ZHT2016iot的博客

10-08

831

一 . 什么是权重衰退模型在训练的过程中可能过拟合，这一般是由于数据复杂度太低而模型容量太大导致的，简而言之就是数据太简单，模型太复杂，模型学习到了数据的一切，包括噪音。此时，权重往往会很大（受噪音影响），显然模型并没有训练到最优（虽然它记住了训练数据的一切，但是对于新的样本泛化能力很差）。所以，我们想要适当降低权重，使模型接近最优，这样模型的泛化性能提升就适当的解决了过拟合问题，这就是权重衰退。二. 详细内容 ...

权重衰退-代码

小鱼的小窝

12-23

220

权重衰退

pytorch学习——正则化技术——权重衰减

weixin_48637535的博客

07-31

5281

权重衰减是通过L2正则项使得模型参数不会过大，从而控制复杂度~正则项权重是控制模型复杂度的超参数下面的代码将模型拟合训练数据集，并在测试数据集上进行评估。函数的具体实现如下：首先通过init_params()函数初始化模型参数w和b。定义net函数为线性回归模型，loss为平方损失函数。设置训练的轮数num_epochs和学习率lr，同时创建一个可视化工具animator，用于可视化训练过程中的损失值。

正则化技术——权重衰退

m0_68605098的博客

01-14

551

在训练参数化机器学习模型时，权重衰减（weight decay）是最广泛使用的正则化的技术之一，它通常也被称为L2正则化。一种简单的方法是通过线性函数中的权重向量的某个范数来度量其复杂性，例如。要保证权重向量比较小，最常用方法是将其范数作为惩罚项加到最小化损失的问题中。使用L2范数的一个原因是它对权重向量的大分量施加了巨大的惩罚。这使得我们的学习算法偏向于在大量特征上均匀分布权重的模型。在实践中，这可能使它们对单个变量中的观测误差更为稳定。

【模型调参总结之解决模型过拟合方法】

liu_198的博客

09-21

669

模型调参

深度学习学习笔记——解决过拟合问题的方法:权重衰减和暂退法，与正则化之间的关系

xw555666的博客

09-05

497

虽然正则化和权重衰减的目标都是减小过拟合风险，但正则化是一个更通用的概念，可以应用于多种机器学习模型，而权重衰减是特定于神经网络的正则化技术。L2 正则化（Ridge 正则化）：L2正则化通过在损失函数中添加参数的平方和，通常表示为λ * ∑θi^2，同样，θi是模型的权重参数，λ是正则化强度超参数。过拟合是指模型在训练数据上表现得非常好，但在新的、未见过的数据上表现较差的情况。正则化的目标是通过对模型的参数或权重进行一定的约束，以限制模型在训练数据上的拟合能力，从而提高模型在未见数据上的泛化能力。

权重衰退--2024年5月9日

weixin_45772086的博客

05-13

182

在模型容量我们学到，可以通过控制参数数量和参数范围来限制模型容量，而权重衰退即为后一方法。又是数学！！看这个 https://www.bilibili.com/video/BV1Z44y147xA/?spm_id_from=333.999.0.0&vd_source=6970922b537ea57b44733cbb3074f93a 从拉格朗日乘数法来理解这一点，对于不同的θ，把构造出的函数求偏导，取到极小值（我在写什么）![在这里插入图片描述](https://img-blog.csdnimg.cn/d

权重衰退的原理(正则化技术之一)

qq_58462637的博客

03-27

1424

权重衰退有一个超参数正则项权重，正是这个，控制了衰退的大小下面就来看看权重衰退是如何实现的：我们通过使用均方范数作为硬性限制，对于所有的权重参数和偏置，我们只对权重进行限制，令其L2long的值小于一个数，如图：而：我们的参数更新法则就来源于此：由于有的存在，每次在梯度下降之前，都会提前减去一次，所以每次权重的大小则额外减小了，且每下降一次，都会减一次，故多次下降之后，被减去的部分越来越多，故称作权重衰退总结： ...

学习笔记-李沐动手学深度学习（四）（12-13，权重衰退、L2正则化、Dropout）

ljmiiianng的博客

01-25

1496

【L2范数】||w|| 或 ||w||2。注：省略右下角角标2是指 L2范数是默认的范数。即一般说范数，就指L2范数【各种范数参考链接】https://blog.csdn.net/weixin_58045467/article/details/131091687本节用的是L2范数的平方【基本理解】dropout是正则化的一种方式【dropout作用场景】（1）位置：一般应用在全连接的隐藏层的输出上（不会作用于卷积层）（2）时间：且只作用在训练过程。

【动手学深度学习】(六)权重衰退

释怀°Believe的博客

11-30

639

权重衰减

Mxnet (7):过拟合处理之权重衰减（Weight Decay）

泛泛之素

09-23

877

1.权重衰减面对过拟合问题，最有效的方法就是增加数据集的大小，但是增加数据往往是比较困难的，短期内很难实现，因为数据都是积累而来的。所以着重专注于应用正则化处理数据来实现减少过拟合。 1.1 规范和权重衰减权重衰减等价于 L2L_2L2 范数正则化（regularization）。则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。线性回归损失函数： L(w,b)=1n∑i=1n12(w⊤x(i)+b−y(i))2 L(\mathbf{w}, b) = \frac{1}

深度学习（8）——权重衰退

weixin_45132473的博客

07-04

1003

深度学习（8）——权重衰退

李沐权重衰退学习笔记