深度学习中的常见正则化方法(Regularization)以及优化器中的WeightDecay参数详解

最新推荐文章于 2024-06-26 13:16:46 发布
最新推荐文章于 2024-06-26 13:16:46 发布
阅读量5.2k 收藏 15
点赞数 2
分类专栏： 机器学习 文章标签： 神经网络 机器学习 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41881259/article/details/106419489
版权

深度学习中的正则化

什么是正则化

“正则化"这个词听起来十分的高大上,但是我们可以简单的理解成为"约束”。

正则化是对参数的一种约束，在训练的过程中，特别是深度神经网络，本身网络层中的参数很多了、,如果每个参数的取值域也很大,那么会对训练造成一些麻烦(训练久之后，可能进入过拟合的状态)，所以我们通过对参数的约束来显式的控制模型的复杂度，从而在一定程度上避免过拟合现象的产生。

所以正则化就是通过对网络层的参数加以限制，从而减少过拟合现象的产生。

一些常用的正则化方法

权重衰减

在每次更新参数的时候，设定一个

L1正则化

加入我们训练的网络的参数为w.则

在这里插入图片描述
如果我们有一个分类问题，则根据分类产生的误差有一个classfication_loss.我们正则化有一个l1_loss.最后有一个loss_total.其中loss_total=classfication_loss+l1_loss.
当我们进行参数更新的时候,是使用w=w-lr*偏导数,是朝着loss减小的方向进行的。如果我们的w太大，会导致loss很大，所以相当于限定了w的范围，从而避免过拟合。

L2正则化

L2正则化，在深度学习中又称为<

最低0.47元/天 解锁文章
张亲亲亲亲钦
关注
  • 2
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch 正则化公式推导+实现+Adam优化器源码以及weight decay的设置
goodgoodstudy___的博客
11-15 1万+
1.为什么要进行正则化？怎么正则化？ pytorch —— 正则化之weight_decay 上文简述： 误差可分解为偏差，方差与噪声之和，即 误差=偏差+方差+噪声 之和； 偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力； 方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响； 噪声则表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界； 正则化策略的目的就是降低方差，减小过拟合的发生。 对于L2norm： 因为公式中存在 因
优化器：Adam
qq_31244453的博客
03-03 1648
Adam文档介绍（Pytorch）： 本文在《Adam:随机优化方法》一书中提出了这一方法。 参数介绍： params (iterable):可迭代对象的参数优化或dict定义参数组; lr (float, optional):学习速率(默认值:1e-3); betas (Tuple[float, float], optional):用于计算的系数(默认值:(0.9,0.999)); eps (float, optional):项加到分母上改进数值稳定性(默认值:1e-8); wei
transformer模型的参数量和计算量
最新发布
a_blade_of_grass的博客
06-26 902
大规模语言模型（Large Language Model, LLM）的大体现在两个方面：模型参数规模大，训练数据规模大。以GPT3为例，参数量为1750亿，训练数据达到了570GB。进而，训练大语言模型面临两个主要挑战：显存效率和计算效率。现在业界的大语言模型都是基于transformer模型的，模型结构主要是encoder-decoder（代表模型是T5）和decoder-only（分为Causal LM——代表模型GPT，Prefix LM——代表模型GLM）。
pytorch 中 torch.optim.Adam 方法的使用和参数的解释
热门推荐
Ibelievesunshine的博客
08-15 14万+
class torch.optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0)[source] 实现Adam算法。 它在Adam: A Method for Stochastic Optimization中被提出。 参数： params (iterable) – 待优化参数的iterable或者...
深度学习笔记——sgd与adam与weight decay
phily123的博客
02-26 2997
https://zhuanlan.zhihu.com/p/32230623 sgd与动量无关 sgdm引入了一阶动量 adam引入了一阶动量与二阶动量 https://blog.csdn.net/program_developer/article/details/80867468 权重衰减作用于L2正则化，使参数变小，减少过拟合。 为什么参数变了可以防止过拟合，因为参数越小模型复杂度越低，对数据的拟合效果更好，同时较大的参数，无关特征的影响也会更小。 ...
【学习笔记】Pytorch深度学习—正则化之weight decay权值衰减
白桃deep_learning博客
08-23 1540
【学习笔记】Pytorch深度学习—正则化之weight decay权值衰减正则化与偏差—方差分解`正则化Regularization定义``什么是方差？``正则化Regularization`Pytorch中的L2正则项—weight decay 本节的主要内容分为2大部分：（1）正则化与偏差—方差分解：什么是正则化，正则化与偏差-方差分解之间的关系？（2）Pytorch中的L2正则项—weight decay。 正则化与偏差—方差分解 正则化Regularization定义 所谓正则化就是一系列用来减少
深度学习的正则化 Regularization for Deep Learning
11-04
MIT版深度学习第6章 深度学习的正则化 。 正则化的定义为旨在减少学习算法的泛化误差而不是训练误差的修改，训练神经网络中，常常会出现过拟合的问题
020710.rar_Tikhonov 正则化_regularization_tikhonov_正则化
07-15
在提供的020710.pdf文档中，可能包含了更深入的理论分析，包括Tikhonov正则化的收敛性分析、不同选择的正则化参数对恢复效果的影响，以及在实际工程问题中的应用案例。而www.pudn.com.txt文件可能是一份引用资料的...
什么是 L1 L2 正规化 正则化 Regularization (深度学习 deep learning)
08-30
什么是_L1_L2_正规化_正则化_Regularization_(深度学习_deep_learning)
正则化Regularization
07-22
正则化（Regularization）是机器学习中一个关键的概念，主要用来解决过拟合问题，以提高模型在未知数据上的泛化能力。过拟合是指模型在训练数据上表现良好，但在新数据上的表现较差的现象。正则化通过在损失函数中...
背景和前景建模中的正则化优化
03-06
在此划分的基础上，我们使用一对双重范数（核范数和频谱范数）分别对前景和背景进行正则化。 此外，我们使用重新加权函数代替正常范数，以便获得更好，更快的近似模型。 本文将基于线性代数对我们的两个模型进行...
2021-08-09
LCDcompiler的博客
08-09 528
@[TOC]pytorch中优化器weight_decay属性（正则化项）对模型训练的影响 pytorch中优化器weight_decay属性（正则化项）对模型训练的影响 这几天在跑一个CNN的时候，本来跑得好好的，有一天突然莫名的出现loss居高不下，准确率也上不来的情况。我很无语，找了半天都没找到原因，检查了很久，最终发现问题是在优化器optimizer上 原本的优化器是： # 只是一个非常普通的随机梯度下降（SGD）优化器 optimizer = torch.optim.SGD(model.param
深度学习之weight_decay和L2正则的区别
AndyJ的学习之旅
08-12 4320
Adam有很多的优点，但是在很多数据集上的最好效果还是用SGD with Momentum细调出来的。可见Adam的泛化性并不如SGD with Momentum。论文 中提出其中一个重要原因就是Adam中L2正则化项并不像在SGD中那么有效。 L2正则和Weight Decay在Adam这种自适应学习率算法中并不等价，只有在标准SGD的情况下，可以将L2正则和Weight Decay看做一样。特别是，当与自适应梯度相结合时，L2正则化导致具有较大历史参数和/或梯度幅度的权重比使用权重衰减时更小。
深度学习剖根问底：weight decay等参数的合理解释
BigCowPeking
06-09 1万+
1：weight decay主要为了加入正则项，防止过拟合，过拟合的导致权值会变化；2：权值的初始化为啥使用较小的数值？因为权值过大的话，对于sigmoid的来说，容易导致数值在饱和区，反向传播导致梯度基本的不跟新；3：...
机器学习之-weight decay
子燕若水的博客
11-18 559
Weight decay is a regularization technique that is used to regularize the size of the weights of certain parameters in machine learning models. Weight decay is most widely used regularization technique for parametric machine learning models. Weight decay i
pytorch优化器详解：Adam
weixin_39228381的博客
09-13 8万+
说明 模型每次反向传导都会给各个可学习参数p计算出一个偏导数，用于更新对应的参数p。通常偏导数不会直接作用到对应的可学习参数p上，而是通过优化器做一下处理，得到一个新的值，处理过程用函数F表示（不同的优化器对应的F的内容不同），即，然后和学习率lr一起用于更新可学习参数p，即。 Adam是在RMSProp和AdaGrad的基础上改进的。 ...
pytorch中troch.optim.Adam优化算法
shuijinghua的博客
03-10 9743
Adam优化算法（Ada optimization algorithm)， 在深度学习的历史上，包括许多知名研究者在内，提出了优化算法，并很好地解决了一些问题。Adam优化算法基本上就是将momentum和rmsprop结合在一起，那么来看看如何使用Adam算法。Adam代表的是adaptive moment estimation,本质上是带有动量项的RMSprop，它利用梯度的一阶矩阵估计和二...
【pytorch优化器】Adam优化算法详解
All_In_gzx_cc的博客
11-22 6868
转载自：https://blog.csdn.net/weixin_39228381/article/details/108548413仅作学习记录。
深度学习逆问题的正则化参数
"这篇文档是关于使用深度神经网络（DNN）学习逆问题中的正则化参数的方法。通过监督学习的方式，训练网络来近似从观测数据到正则化参数的映射。一旦网络训练完成，对于新获取的数据，可以通过DNN的高效前向传播计算...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值