12 权重衰退【动手学深度学习v2】

已于 2022-01-19 15:38:50 修改
阅读量641 收藏
点赞数
文章标签： 深度学习
于 2022-01-19 14:55:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43154149/article/details/122578370
版权

文章目录

学习视频地址：https://www.bilibili.com/video/BV1UK4y1o7dy?p=3

P1 权重衰退

在这里插入图片描述

通常不会使用上面的约束，而是使用下面这个约束

如果你要控制模型不要太复杂，λ变大
在这里插入图片描述
直观解释：增加了这一项，相当于把w~向原点拉，拉到w这个平衡点，w的绝对值变小，
相当于模型复杂度变低了。所以λ越大，越限制模型复杂度，复杂度越低！

在这里插入图片描述
为什么叫权重衰退
在这里插入图片描述

总结
在这里插入图片描述

P2 代码实现

在这里插入图片描述
当你的数据过小，模型越复杂，过拟合越容易发生

在这里插入图片描述
这一节的核心：L2范数惩罚

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
简介实现：weight_decay
在这里插入图片描述

通常大家会选择weight_decay = 1e-3,但不会选很大例如1
在这里插入图片描述

P3 QA

在这里插入图片描述

  1. 不支持（但复数就是二维的东西，可以通过加第二维实现你的效果）

2. 限制模型只在很小的范围取参数，空间就会变小

在这里插入图片描述

3. L1范数，你可以自己试一下，效果好到爆炸？

在这里插入图片描述

4. 一般取1e-3

  1. L2默认，这里忽略下标了

6. 数据有噪音，学不到真正的w，λ太小拉一点点，太大拉多一点

在这里插入图片描述
在这里插入图片描述
7. 没有取平均的意思，L2就是往回拉
8. 1e-3，1e-2，1e-4，都试一下
9. 先λ=0看一下不用的效果，再调1e-3看一下有没有效果，有用但是只有一点点
10. 你可以试一下嘛

算法研究员
关注
【动手学深度学习】模型选择＋过拟合和欠拟合+权重衰退
Ya_nnnG的博客
01-16 145
【动手学深度学习】模型选择＋过拟合和欠拟合+权重衰退
数据分析4——挖掘建模（监督学习中的分类、回归模型，无监督学习）
qq_34623480的博客
10-27 1994
def hr_modeling(features,label): #区分训练集和测试集 from sklearn.model_selection import train_test_split #features、label是dataframe f_v=features.values l_v=label.values #我们需要得到6:2:2的比例，需要分两步进行切分 #第一步，先得到验证集的数量，它占总体的20% X_tt
模型发生过拟合了怎么办？分享一个调参实例
u014264373的博客
09-15 3752
文章目录1 什么是过拟合2 一个过拟合模型3 处理上述过拟合3.1 减少网络容量3.2 使用正则化3.3 Dropout4 总结 1 什么是过拟合 过拟合：当你的模型拟合的很好，但在新的，未见过的数据上不能很好地泛化时，就发生了过拟合。 简单来讲：train loss 不断下降，但 val loss 停止下降，甚至不断增大时，就说明过拟合了。 如图，train loss 在不断下降，但是 val loss 在几个 epoch 后开始上升了，和 train loss 的差距越来越大，这就是明显的过拟合。 2
pytorch 动态调整学习率
AI浩
11-27 1385
背景 深度炼丹如同炖排骨一般，需要先大火全局加热，紧接着中火炖出营养，最后转小火收汁。 本文给出炼丹中的 “火候控制器”-- 学习率的几种调节方法，框架基于pytorch 1. 自定义根据 epoch 改变学习率。 这种方法在开源代码中常见，此处引用 pytorch 官方实例中的代码adjust_lr def adjust_learning_rate(optimizer, epoch): """Sets the learning rate to the initial LR decay..
sphereface loss不收敛分析
qq_33824968的博客
07-22 718
1：lr 从1e-2 ~ 1e-5 2：weight_decay = 1e-2 ~ 1e-4 没有作用 3：怕是sphereface出了问题，把最后一层的fc层，改成了原有的Linear，结果还是不好。最后改了loss （cross_entorpy）函数还是不对 4:考虑resnet101的预训练模型不对，发现确实是原有模型 5：考虑加载数据问题，将原来的初始大小由299改为了200 ...
AdamW
Major_S的博客
12-21 1975
优化器（一） 先由损失函数模块得出模型输出和标签之间的差异的loss值 再利用AutoGrad自动求导模块求到模型中学习参数（权值、偏置）的梯度 最后优化器拿到这个梯度，采取一系列策略，更新模型的学习参数，使得Loss值下降 很多人对方向导数有困惑，特别和梯度一起讲，就懵b了 方向导数不还是导数嘛，指的还是变化率 在一维空间，方向导数就是导数，在二维空间，方向导数就是二维向量，在三维空间...
权重衰减（weight decay）与学习率衰减（learning rate decay）
热门推荐
Microstrong
06-30 15万+
“微信公众号”1. 权重衰减（weight decay）L2正则化的目的就是为了让权重衰减到更小的值，在一定程度上减少模型过拟合的问题，所以权重衰减也叫L2正则化。1.1 L2正则化与权重衰减系数L2正则化就是在代价函数后面再加上一个正则化项：其中C0代表原始的代价函数，后面那一项就是L2正则化项，它是这样来的：所有参数w的平方的和，除以训练集的样本大小n。λ就是正则项系数，权衡正则项与C0项的比...
【动手学深度学习v2】深度学习-李沐老师课程中代码详解-权重衰退
最新发布
08-09
【动手学深度学习v2】深度学习——李沐老师课程中代码详解——权重衰退
"脑磁共振图像深度学习阿尔茨海默病分类模型实验分析及性能优化
沙特国王大学学报使用脑磁共振图像对不同的基于深度学习的阿尔茨海默病分类模型进行实验分析Ruhul Amin Hazarikaa，Debdatta Kandara，Arnab Kumar Majia，a印度梅加拉亚邦西隆东北希尔大学信息技术系，邮编793022阿...
真实世界视频超分辨率数据集与基于分解的学习方案
4781真实世界视频超分辨率：基准数据集和基于分解的学习方案Xi Yang1，2，*，Wangmeng Xiangg1，2，*，Hui Zengg1，2，Lei Zhangg1，2，†1香港理工大学、2达摩书院、阿里巴巴集团xxxxi. connect.polyu.hk，{...
深度学习中，使用regularization正则化(weight_decay)的好处，loss=nan
weixin_30512043的博客
04-19 3842
刚开始训练一个模型，自己就直接用了，而且感觉训练的数据量也挺大的，因此就没有使用正则化， 可能用的少的原因，我也就不用了，后面，训练到一定程度，accuracy不上升，loss不下降，老是出现loss=nan，输出的结果也就直接不预测，比如 训练二分类器，直接判断固定为某一类别（比如固定输出为正类），这就使得准确率为0.5，阿呀呀，怎么办，不工作哦？？？？ 后面想，训练崩了会不会是lea...
Pytorch优化器的权重衰减（weight_decay）
qq_39463274的博客
04-03 1万+
L2正则化： L=Ee+λ∑wi2L=E_e + \lambda\sum w_i^2L=Ee​+λ∑wi2​ EeE_eEe​:是训练数据个标签之间的误差 wiw_iwi​:表示权重值 在反向传播计算梯度时，对每个权重点来说，就是在原本计算的EeE_eEe​梯度上，再加上2∗λ∗wi2*\lambda*w_i2∗λ∗wi​, ２和λ\lambdaλ可一起看做常数项系数． Pytorch里实现的权重...
PyTorch学习之十种优化函数
mingo_敏
01-01 1万+
1 使用 2 基类 Optimizer torch.optim.Optimizer(params, defaults) params (iterable) —— Variable 或者 dict的iterable。指定了什么参数应当被优化。 defaults —— (dict)：包含了优化选项默认值的字典（一个参数组没有指定的参数选项将会使用默认值）。 load_state_dict(stat...
超参数 learning rate,weight decay和momentum
hemancute的博客
09-15 1166
先看几个公式！ 　........ (1) ......(2) .........(3) 超参数是指机器学习模型里面的框架参数，和训练过程中学习的参数（权重）不一样，超参数通常是手工设定，不断试错调整，或者对一系列穷举出来的参数组合一通进行枚举（网格搜索）。 深度学习和神经网络模型，有很多这样的参数需要学习。时至今日，非参数学习研究正在帮助深度学习更加自动的优化模型参数选择，当然有经验的专家仍然是必须的。 Learning Rate (gradient coefficient) ...
【学习笔记】Pytorch深度学习—正则化之weight decay权值衰减
白桃deep_learning博客
08-23 1600
【学习笔记】Pytorch深度学习—正则化之weight decay权值衰减正则化与偏差—方差分解`正则化Regularization定义``什么是方差？``正则化Regularization`Pytorch中的L2正则项—weight decay 本节的主要内容分为2大部分：（1）正则化与偏差—方差分解：什么是正则化，正则化与偏差-方差分解之间的关系？（2）Pytorch中的L2正则项—weight decay。 正则化与偏差—方差分解 正则化Regularization定义 所谓正则化就是一系列用来减少
【学习记录】Pytorch CNN model
chierhy的博客
02-02 1707
Pytorch学习记录模型训练相关优化器SGDnn.sequentialnn.Conv2dl模型融合nn.ReLU(inplace=True)nn.MaxPool2d(kernel_size=2, stride=2),np.linspace()数据特征提取功能快捷键生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表新的甘特图功能，丰富你的文章FLowchart流程图 模型训练相关 。 优化器SGD 随机梯度下降（stochastic gradient desc
这些神经网络调参细节，你都了解了吗
zenRRan的博客
03-09 2193
在写本科毕业论文的时候又回顾了一下神经网络调参的一些细节问题，特来总结下。主要从weight_decay，clip_norm，lr_decay说起。 以前刚入门的时候调参只是从hidden_size，hidden_num，batch_size，lr，embed_size开始调，但是后来才逐渐明白embed_size一般是设置完后不用再调的，比如设定为128后，就不要调了，因为embed_size...
深度学习剖根问底：weight decay等参数的合理解释
BigCowPeking
06-09 1万+
1：weight decay主要为了加入正则项，防止过拟合，过拟合的导致权值会变化；2：权值的初始化为啥使用较小的数值？因为权值过大的话，对于sigmoid的来说，容易导致数值在饱和区，反向传播导致梯度基本的不跟新；3：...
正则化之weight-decay
斯人若彩虹，遇上方知有！
09-02 3189
一、正则化之weight_decay 1、Regularization：减少方差的策略 误差可分解为：偏差、方差与噪声之和。 误差=偏差+方差+噪声 偏差：度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力； 方差：度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响； 噪声：表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界； 损失函数：衡量模型输出与真实标签的差异； 损失函数（loss function）： 代价函数（c
动手学深度学习：Gluon实现与理论解析
"该资源是《动手学深度学习》的一部分，主要讲解了深度学习的基础概念和实践，使用MXNet的Gluon接口进行实现。内容涵盖了多层感知机、拟合与模型选择、权重衰减、丢弃法等重要主题，并涉及正向传播、反向传播和计算...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值