处理过拟合的方法之权重衰退

已于 2024-02-23 23:54:18 修改
阅读量262 收藏 5
点赞数 10
文章标签： 机器学习 算法 人工智能
于 2024-02-23 23:38:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45951583/article/details/136264435
版权
本文讨论了过拟合问题及其在模型训练中的影响，介绍了通过减少参数个数和使用均方范数进行硬性或柔性限制来控制模型容量的方法，特别强调了权重衰退在深度学习中的应用，包括使用拉格朗日乘子法和学习率调整以防止参数过大。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

    

    过拟合是在模型训练过程中会时常出现的问题，往往表现为训练误差较小，而验证误差较大。数据集的复杂程度以及模型容量的过大都是导致过拟合的影响因素。

        而为了控制模型容量让他不至于太大有两个方法：

        1、减少参数个数。

        2、限制参数范围。

权重衰退就是通过限制参数值的选择范围来控制容量模型。

使用均方范数作为硬性限制

首先说一下使用均方范数作为硬性限制

        在求最小化损失 min loss\left ( w, b\right )模型训练过程中,给权重w添加一个硬性限制要求 \left | w \right |^{2}\leq \theta  。这样模型中的所有参数都被硬性的控制在了一个范围之类。

        并且通常对偏置项b不做限制，因为限不限制都差不多。

        小的\theta意味着更强的正则

最低0.47元/天 解锁文章
动手学深度学习V2.0(Pytorch)——12. 权重衰退
啷个哩个啷
10-27 1073
https://www.bilibili.com/video/BV1UK4y1o7dy?p=1
深度学习基础20（权重衰退以及代码实现详解）
FLR的博客
04-01 2397
权重衰减 ![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Ehy5R4fH-1648806333395)(C:\Users\Lenovo\Documents\Tencent Files\850604703\FileRecv\MobileFile\Image\O6Z4JUTQKQ5[F51]45}0~[B.png)](https://img-blog.csdnimg.cn/c14d72718c1a4d289631d2dbde576be0.png?x-oss-process=i
动手学深度学习11 权重衰退
weixin_42831564的博客
04-19 792
每次都在权重更新之前对w做了一次放小(ηλ<1)， 所以叫做权重衰退。lambda是控制模型参数的超参数。
17. 权重衰退（weight_decay）
weixin_47505105的博客
12-11 6016
笔记
权重衰减(Weight Decay)
m0_56312629的博客
12-16 4886
本文讲了权重衰减（权重衰退）的数学原理和具体使用方法
权重衰退（PyTorch）
不想随波逐流的大学生一枚，我们每个人都在努力奔跑
06-30 2866
权重衰退和正则项的影响本质以及Pytorch的代码实现
动手学深度学习笔记（一）——权重衰退
weixin_45169380的博客
12-12 3189
权重衰减的作用机理和实现
深度学习之权重衰退
ZHT2016iot的博客
10-08 831
一 . 什么是权重衰退 模型在训练的过程中可能过拟合，这一般是由于数据复杂度太低而模型容量太大导致的，简而言之就是数据太简单，模型太复杂，模型学习到了数据的一切，包括噪音。此时，权重往往会很大（受噪音影响），显然模型并没有训练到最优（虽然它记住了训练数据的一切，但是对于新的样本泛化能力很差）。所以，我们想要适当降低权重，使模型接近最优，这样模型的泛化性能提升就适当的解决了过拟合问题，这就是权重衰退。 二. 详细内容 ...
权重衰退-代码
小鱼的小窝
12-23 220
权重衰退
pytorch学习——正则化技术——权重衰减
weixin_48637535的博客
07-31 5283
权重衰减是通过L2正则项使得模型参数不会过大，从而控制复杂度~正则项权重是控制模型复杂度的超参数下面的代码将模型拟合训练数据集，并在测试数据集上进行评估。函数的具体实现如下：首先通过init_params()函数初始化模型参数w和b。定义net函数为线性回归模型，loss为平方损失函数。设置训练的轮数num_epochs和学习率lr，同时创建一个可视化工具animator，用于可视化训练过程中的损失值。
正则化技术——权重衰退
m0_68605098的博客
01-14 552
在训练参数化机器学习模型时，权重衰减（weight decay）是最广泛使用的正则化的技术之一，它通常也被称为L2正则化。一种简单的方法是通过线性函数中的权重向量的某个范数来度量其复杂性，例如。要保证权重向量比较小，最常用方法是将其范数作为惩罚项加到最小化损失的问题中。使用L2范数的一个原因是它对权重向量的大分量施加 了巨大的惩罚。这使得我们的学习算法偏向于在大量特征上均匀分布权重的模型。在实践中，这可能使它们 对单个变量中的观测误差更为稳定。
【模型调参总结之解决模型过拟合方法】
liu_198的博客
09-21 670
模型调参
深度学习学习笔记——解决过拟合问题的方法:权重衰减和暂退法，与正则化之间的关系
xw555666的博客
09-05 497
虽然正则化和权重衰减的目标都是减小过拟合风险，但正则化是一个更通用的概念，可以应用于多种机器学习模型，而权重衰减是特定于神经网络的正则化技术。L2 正则化（Ridge 正则化）：L2正则化通过在损失函数中添加参数的平方和，通常表示为λ * ∑θi^2，同样，θi是模型的权重参数，λ是正则化强度超参数。过拟合是指模型在训练数据上表现得非常好，但在新的、未见过的数据上表现较差的情况。正则化的目标是通过对模型的参数或权重进行一定的约束，以限制模型在训练数据上的拟合能力，从而提高模型在未见数据上的泛化能力。
权重衰退--2024年5月9日
weixin_45772086的博客
05-13 182
在模型容量我们学到，可以通过控制参数数量和参数范围来限制模型容量，而权重衰退即为后一方法。 又是数学！！看这个 https://www.bilibili.com/video/BV1Z44y147xA/?spm_id_from=333.999.0.0&vd_source=6970922b537ea57b44733cbb3074f93a 从拉格朗日乘数法来理解这一点，对于不同的θ，把构造出的函数求偏导，取到极小值（我在写什么）![在这里插入图片描述](https://img-blog.csdnimg.cn/d
权重衰退的原理(正则化技术之一)
qq_58462637的博客
03-27 1425
权重衰退有一个超参数正则项权重，正是这个，控制了衰退的大小 下面就来看看权重衰退是如何实现的： 我们通过使用均方范数作为硬性限制，对于所有的权重参数和偏置，我们只对权重进行限制，令其L2long的值小于一个数，如图： 而： 我们的参数更新法则就来源于此： 由于有的存在，每次在梯度下降之前，都会提前减去一次，所以每次权重的大小则额外减小了，且每下降一次，都会减一次，故多次下降之后，被减去的部分越来越多，故称作权重衰退 总结： ...
学习笔记-李沐动手学深度学习（四）（12-13，权重衰退、L2正则化、Dropout）
ljmiiianng的博客
01-25 1498
【L2范数】||w|| 或 ||w||2。注：省略右下角角标2是指 L2范数是默认的范数。即 一般说范数，就指L2范数【各种范数参考链接】https://blog.csdn.net/weixin_58045467/article/details/131091687本节用的是L2范数的平方【基本理解】dropout是正则化的一种方式【dropout作用场景】（1）位置：一般应用在全连接的隐藏层的输出上（不会作用于卷积层）（2）时间：且只作用在训练过程。
【动手学深度学习】(六)权重衰退
释怀°Believe的博客
11-30 639
权重衰减
Mxnet (7):过拟合处理之权重衰减（Weight Decay）
泛泛之素
09-23 877
1.权重衰减 面对过拟合问题，最有效的方法就是增加数据集的大小，但是增加数据往往是比较困难的，短期内很难实现，因为数据都是积累而来的。所以着重专注于应用正则化处理数据来实现减少过拟合。 1.1 规范 和 权重衰减 权重衰减等价于 L2L_2L2​ 范数正则化（regularization）。则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。线性回归损失函数： L(w,b)=1n∑i=1n12(w⊤x(i)+b−y(i))2 L(\mathbf{w}, b) = \frac{1}
深度学习（8）——权重衰退
weixin_45132473的博客
07-04 1003
深度学习（8）——权重衰退
李沐权重衰退学习笔记
最新发布
01-06
### 关于李沐讲解的权重衰减与正则化 在机器学习和深度学习领域，权重衰减是一种重要的技术用于防止过拟合。该方法通过对损失函数添加一个额外的惩罚项来实现这一目标[^1]。 #### L2正则化的作用机制 具体来说，在训练过程中引入L2范数作为正则项能够有效地抑制模型参数变得过大。这不仅有助于简化模型结构，还能提升其泛化能力。当应用到神经网络中时，这种做法被称为权重衰减。 ```python import torch from torch import nn net = nn.Sequential( nn.Linear(4, 8), nn.ReLU(), nn.Linear(8, 1)) loss = nn.MSELoss() optimizer = torch.optim.SGD(net.parameters(), lr=0.01, weight_decay=0.001) ``` 上述代码展示了如何利用`weight_decay`参数设置权重衰减值，以此达到实施L2正则化的目的。 #### 超参数的选择 值得注意的是，正则项前系数即为控制模型复杂度的关键超参数之一。通常情况下，较小数值如\( \lambda = 0.01, 0.001, 0.0001\)会被尝试用来寻找最佳配置方案。 然而，实际效果表明这些初始设定可能并非总是理想之选；后续研究可能会探索更多有效的策略比如Dropout等以进一步优化性能表现[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值