「Deep Learning」Note on Decoupled Weight Decay Regularization

最新推荐文章于 2024-08-20 09:19:52 发布
最新推荐文章于 2024-08-20 09:19:52 发布
阅读量753 收藏 1
点赞数
文章标签： 小锋子 AdamW SGDW
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dgyuanshaofeng/article/details/88564777
版权
本文介绍了深度学习中L2正则化与权重衰减正则化在Adam等自适应梯度算法中的差异，并提出了解耦权重衰减的方法——AdamW和SGDW，以提升模型的泛化性能。实验表明，解耦权重衰减能带来比L2正则化更优的测试误差。
摘要由CSDN通过智能技术生成

QQ Group: 428014259
Tencent E-mail：403568338@qq.com
http://blog.csdn.net/dgyuanshaofeng/article/details/88564777

作者之前提出余弦退火学习率调整策略，在这篇论文中提出AdamW。

作者：Ilya Loshchilov, Frank Hutter
单位：University of Freiburg

0 摘要

L2正则化或者权重衰减正则化在标准SGD中是等价的，但是对于自适应梯度算法，比如Adam，则不是一回事。作者解耦出权重衰减因子的最佳选择，使得Adam的泛化性能得以提升，使得其性能与SGD with Momentum相当。

1 介绍

尽管有那么多自适应梯度方法，比如AdaGrad，RMSProp，Adam，和AMSGrad，但是SGD with Momentum的泛化能力还是最强的。自适应梯度方法的较弱泛化能力被研究，而且提出不同假设，有假设说存在尖锐的局部最小，有假设说这是其固有问题。作者研究其中的一些因素，比如，人们在Adam中，用错了权重衰减。在Adam中，作者观察到：
1、L2正则化和权重衰减正则化不是一回事。
2、L2正则化对于Adam不是effective，即无效，有损。这是人们直接使用深度学习库中的L2正则化导致的。
3、权重衰减确实对于SGD和Adam是effective。
4、

最低0.47元/天 解锁文章
小锋子Shawn
关注
【AAAI 2021】基于解耦标签的知识蒸馏：Knowledge Refinery: Learning from Decoupled Label
梁瑛平的博客
08-07 764
【AAAI 2021】基于解耦标签的知识蒸馏：Knowledge Refinery: Learning from Decoupled Label论文地址：主要问题：主要思路： 论文地址： https://ojs.aaai.org/index.php/AAAI/article/view/16888 主要问题： 目前的知识蒸馏需要预先训练一个额外的教师模型 主要思路： 这篇提出了一种叫做知识精炼（Knowledge Refinery，简称 KR）的方法，该方法使神经网络能够在没有师生训练策略的情况下动态学习知识
Bootstrapping Vision-Language Learning with Decoupled Language Pre-training
结构化论文学习和写作
05-28 449
训练目标：该标准描述了用于指导学习过程的不同损失函数。**研究重点：**该标准强调研究的主要研究方向。模型架构：该标准侧重于 VL 模型的结构设计。监督级别：该标准表明训练数据中的标签程度。模态：该标准指的是模型训练的数据类型。该标准区分模型的训练方式。
DECOUPLED WEIGHT DECAY REGULARIZATION
lpty的博客
04-09 3665
引言 Adam作为一个常用的深度学习优化方法，提出来的时候论文里的数据表现都非常好，但实际在使用中发现了不少问题，在许多数据集上表现都不如SGDM这类方法。 后续有许多工作针对Adam做了研究，之前整理过关于优化算法的发展历程：从Stochastic Gradient Descent到Adaptive Moment Estimation，里面也介绍了一些对于Adam效果不好的研究工作。 这篇论文依...
机器学习——深度学习(Deep Learning)
热门推荐
Rachel Zhang的专栏
08-04 45万+
Deep Learning是机器学习中一个非常接近AI的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，最近研究了机器学习中一些深度学习的相关知识，本文给出一些很有用的资料和心得。Key Words：有监督学习与无监督学习，分类、回归，密度估计、聚类，深度学习，Sparse DBN，1. 有监督学习和无监督学习给定一组数据(input，target)为Z=(X，Y)。有监督学习：最常见的是r
探索高效训练：Decoupled Weight Decay Regularization 项目推荐
最新发布
gitblog_01007的博客
08-20 277
探索高效训练：Decoupled Weight Decay Regularization 项目推荐 AdamW-and-SGDWDecoupled Weight Decay Regularization (ICLR 2019)项目地址:https://gitcode.com/gh_mirrors/ad/AdamW-and-SGDW 在深度学习的海洋中，每一个细微的改进都可能引领我们向更高的精度迈...
(2019.01, iclr) Decoupled Weight Decay Regularization
chaoqinyou的博客
02-28 331
讲adamW的论文, 除了纯SGD, L2 != weight_decay
论文阅读：Fixing Weight Decay Regularization in Adam
Coding
11-22 2913
论文地址：https://arxiv.org/abs/1711.05101 知乎上别人的分享：https://www.zhihu.com/question/67335251 中心思想就是让权重衰减与学习率脱钩。
全文翻译（全文合集）：TVM: An Automated End-to-End Optimizing Compiler for Deep Learning
吴建明wujianming_110117
10-29 746
全文翻译（全文合集）：TVM: An Automated End-to-End Optimizing Compiler for Deep Learning 摘要 人们越来越需要将机器学习应用到各种各样的硬件设备中。现在的框架依赖于特定于供应商的算子库，针对窄带的服务器级GPU进行优化。将工作负荷部署到新平台，如移动电话，嵌入式设备和加速算子（如FPGA，ASIC）-需要大量手动操作。 提出了TVM，一个开源图形级别的编译器和算子级优化，提供高效跨多个应用程序移植到深度学习工作负荷硬件后端。TVM解决了深度学
说书人话人工智能
sh19940925的博客
01-22 328
计算机硕士毕业做人工智能深度学习，大概多少薪资？  看水平了，靠谱的20K起吧。40不高，跟你说实话，我现在上着学，在一个公司做人工智能，没考勤，拿不到20K。当然我是在圈里有一定名，老板找到我。  但是18、19开始人多了，肯定便宜了。  我想学的话，该怎么入门呢？  学python，学理论，开发先用keras吧。多面几个。  业余学到靠谱的程度，大概得多久？  这个真的不好说 
Deep Learning（中文版）
05-10
Deep Learning（中文版），2017年2月份翻译版，有700多页，高清，本书堪称深度学习中的圣经，由Yoshua Bengio和GAN之父Ian Goodfellow等人合著，值得学习。
[二十一]深度学习Pytorch-正则化Regularization之weight decay
yanzhiwen2的博客
04-13 937
深度学习Pytorch-正则化Regularization之weight decay
深度学习deep learning
qq_46458188的博客
11-28 1万+
一、简介 深度学习是包含多个隐层的机器学习模型，核心是基于训练的方式，从海量数据中挖掘有用信息，实现分类与预测。 早期的深度学习模型：编码器、循环神经网络、深度置信网络、卷积神经网络 衍生模型：堆叠降噪自编码器、稀疏自编码器、降噪自编码器 深度学习的常用模型：卷积神经网络（CNN），深度信念网络（DBN），深度自动编码器（DAE），限制玻尔兹曼机（RBM）。CNN有全监督学习和权值共享的特点，在自然语言处理和语音图像识别领域有很强优势。其他深度学习模型大多先采用无监督方式逐层预训练，再使用有...
正则化（Regularization），权重衰减（Weight decay）
Yemiekai的博客
08-01 671
L2 正则化是怎么减轻过拟合的，权重衰减 (weight decay) 是什么意思。
深度学习（Deep Learning）
m0_62870606的博客
08-18 2338
2. 时间相关性的非结构化数据，RNN 算法。五、高级 - 模型优化的原理 不同的模型需要采用的优化函数以及反向传播中参数的优化方法 1. 模型优化的算法介绍，基于随机梯度下降的算法介绍。二、数据理解及处理 分析典型场景中的典型数据，结合具体的算法，对数据进行处理 1. 结构化数据，如何对数据进行读取，进行组织。四、模型验证及问题排查 简单的算法或者模型对典型的场景进行快速验证，并且针对一些频发的问题进行讲解。2. 图像数据，在实际应用过程中的处理方法，怎样做数据的预处理、进行数据增强等。...
Deep Learning(1)
Kelly_Young的博客
03-06 740
近来学习深度学习和神经网络，此篇博客总结自Neural networks and deep learning CHAP1 Perceptrons 输入x1, x2…是二进制输入，产生一个二进制输出。 感知器可以用作一种决策器。 感知器可以当作NAND门。 output= 0 if w⋅x+b≤0 1 if w⋅x+b>0 权重或者偏差（阈值）轻微的变动会引起结果的很大的变...
L1、L2正则regularization和weight decay
zhaijianfengrui的专栏
11-21 1317
对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归）。L1正则化，又叫Lasso Regression如下图所示，L1是向量各元素的绝对值之和L2正则化，又叫Ridge Regression如下图所示，L2是向量各元素的平方和表示特征的系数，从上式可以看到正则化项是对系数做了处理（限制）。也被称为相同点：都用于避免过拟合不同点：L1可以让一部分特征的系数缩小到0，从而间接实现特征选择。所以L1适用于特征之间有关联的情况。
decoupled_detect
04-28
decoupled_detect是一种分离式检测技术，它可以将检测与跟踪两个任务分离开来，从而提高检测准确性和跟踪效率。在之前的检测方法中，检测和跟踪是同时进行的，这会导致跟踪目标的同时也会受到检测误差的影响，从而...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值