第四周、梯度，损失函数和优化器

最新推荐文章于 2022-12-09 20:19:25 发布
最新推荐文章于 2022-12-09 20:19:25 发布
阅读量219 收藏
点赞数
分类专栏： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012675171/article/details/107295544
版权

一、梯度消失与爆炸

1.1 梯度

在这里插入图片描述
从上图可知，每一网络层输出不能太大或太小，否则会导致梯度爆炸或者梯度消失
在这里插入图片描述
对权重W进行处理，使其方差为1/n，则隐藏输出的方差也为1，这样使得经过累乘，依然保持到一个很小的数

1.2 Xavier方法

在这里插入图片描述
方差一致性: 保持数据尺度维持在恰当范围,通常方差为1
激活函数: 饱和函数, 如Sigmoid, Tanh

1.3 Kaiming方法

在这里插入图片描述
方差一致性:保持数据尺度维持在恰当范围,通常方差为1
激活函数: ReLU及其变种

1.4 常用初始化方法

在这里插入图片描述

二、损失函数

1.1 基本概念

在这里插入图片描述

1.2 交叉熵损失函数–nn.CrossEntropyLoss

在这里插入图片描述

三、优化器

3.1 基本概念

在这里插入图片描述

3.2 optimizer的属性

在这里插入图片描述

3.3 optimizer的方法

zero_grad()
说明：

  • 在优化器中保存的是参数的地址，根据地址寻找参数，减少内存消耗
  • 通过zero_grad()方法后，就实现了参数梯度的清零

在这里插入图片描述

3.4 十种优化器

  • optim.SGD:随机梯度下降法
  • optim.Adagrad:自适应学习率梯度下降法
  • optim.RMSprop: Adagrad的改进
  • optim.Adadelta : Adagrad的改进
  • optim.Adam : RMSprop结合Momentum
  • optim.Adamax: Adam增加学习率上限
  • optim.SparseAdam:稀疏版的Adam
  • optim.ASGD:随机平均梯度下降
  • optim.Rprop :弹性反向传播
  • optim.LBFGS: BFGS的改进

三级目录

enchant-ed
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习笔记（五）---损失函数与优化器
一一
03-20 1万+
以下笔记来源： [1] . 《pytorch深度学习实战》 [2] .pytorch 损失函数总结 （https://blog.csdn.net/jacke121/article/details/82812218） [3] .PyTorch学习之十种优化函数(https://blog.csdn.net/shanglianlm/article/details/85019633) ...
记录 torch.optim.LBFGS
米饭的白色的专栏
08-17 2775
pytorch.optim.LBFGS
PyTorch学习之十种优化函数
mingo_敏
01-01 1万+
1 使用 2 基类 Optimizer torch.optim.Optimizer(params, defaults) params (iterable) —— Variable 或者 dict的iterable。指定了什么参数应当被优化。 defaults —— (dict)：包含了优化选项默认值的字典（一个参数组没有指定的参数选项将会使用默认值）。 load_state_dict(stat...
损失函数与优化器理解+【PyTorch】在反向传播前为什么要手动将梯度清零？optimizer.zero_grad()
简单记录生活、学习
07-20 1万+
目录 回答一： 回答二： 回答三： 传统的训练函数，一个batch是这么训练的： 使用梯度累加是这么写的： 回答一： 一句话，用来更新和计算影响模型训练和模型输出的网络参数，使其逼近或达到最优值，从而最小化(或最大化)损失函数E(x) 这种算法使用各参数的梯度值来最小化或最大化损失函数E(x)。最常用的一阶优化算法是梯度下降。 回答二： 各位答主都答到了zero_grad()的好处。那我试着从code的角度解释解释，一般来说是如下模板 optimizer.zero_grad() .
PyTorch基础（六）-- optim模块
CarpeDiem
03-20 3639
PyTorch的optim是用于参数优化的库（可以说是各种梯度下降的变种），optim文件夹主要包括1个核心的父类（optimizer）、1个辅助类（lr_scheduler）以及10个常用优化算法的实现类。optim中内置的常用算法包括adadelta、adam、adagrad、adamax、asgd、lbfgs、rprop、rmsprop、sgd、sparse_adam。本文主要整理了这些优化算法的主要思想，使用方法，以及在训练过程中的优缺点。...
第一门课 神经网络和深度学习1
08-04
本资源为神经网络和深度学习的基础课程，涵盖了深度学习的基本概念、神经网络的基本结构、梯度下降算法、激活函数、损失函数等内容。 一、神经网络基础 神经网络是一种机器学习算法，能模拟人脑的神经网络结构，...
零基础入门深度学习(4) - 卷积神经网络 - 作业部落 Cmd Markdown 编辑阅读器.pdf
09-20
在训练卷积神经网络时，我们需要选择合适的激活函数、优化算法、损失函数等。Relu函数是一个常用的激活函数，它可以减轻梯度消失问题和提高训练速度。 卷积神经网络是深度学习中的一种重要结构，它可以解决图像识别...
计算机视觉算法工程师常见面试题1.pdf
04-21
表达式为：image.png作者这样设置的目的是想让loss对于离群点更加鲁棒，相比于L2损失函数，其对离群点、异常值（outlier）不敏感，可控制梯度的量级使训练时不容易跑飞。 十二、Batch Normalization 使用BN的原因...
Quantum_Machine_Learning_Express:该项目是Qiskit指导计划之一，旨在复制两篇论文arXiv
03-15
） 定义特定的聚合函数（从位字符串到分类标签的映射） 利用L1和L2损失来衡量分类器中的误差研究梯度下降和亚当优化器以优化损失函数利用9个特定的数据集来评估分类器（图2）。 TH20利用Sim19中已经存在的有关PQC的...
matlab精度检验代码-Self-Taught-Machine-Learning:过去，我很难找到一个地方可以学习统计学习算法，如何学习算法
05-22
讲座（ML，准确性和损失函数简介）： 讲座（贪婪的逐步分类，培训与测试）： 讲座（线性回归）： 讲座（有关线性回归的更多信息）： 讲座（梯度下降）： 讲座（多项式回归，过度拟合）： 讲座（正则化，逻辑回归）：...
torch.optim 中的优化器
走出那座山
07-12 2355
torch.optim 中的优化器
【torch.optim】优化器的使用 / 学习率的调整 / SWA策略
zyw2002的博客
12-09 2590
torch.optim是实现各种优化算法的包。大多数常用的方法都已得到支持，而且接口足够通用，因此将来还可以轻松集成更复杂的方法。
损失函数 梯度 优化
Stockholm_Sun的博客
08-02 998
损失函数 梯度 优化 上次看到了损失函数究竟是什么样子的，这次我们就来看看如何针对损失函数进行优化。首先按照CS231n课程的内容，我们导入了一个情境，在一个山地区域中我们想要到达地势最低点，那该怎么办。 第一种想法 就像吃鸡游戏一样，我在随机地点降落无数次，找到这一批随机地点中最低的，把它当作最小值。首先，这个的耗时实际取决于你降落的次数；其次，这玩意儿真的效果不好，而且不难看出，这种想法带来的...
TensorFlow学习（四）：梯度带(GradientTape)，优化器(Optimizer)和损失函数(losses)
热门推荐
谢小小XH
11-27 19万+
训练你的机器
梯度下降优化算法综述（翻译）
自然语言处理大菜鸟--HsingWang
03-24 1万+
原文链接：http://sebastianruder.com/optimizing-gradient-descent 博文地址： 梯度下降是最流行的优化算法之一并且目前为止是优化神经网络最常见的算法。与此同时，每一个先进的深度学习库都包含各种算法实现的梯度下降（比如lasagne's, caffe's, 和 keras'的文档）。然而，这些算法经常作为黑盒优化程序使用，所以难以感受
pytorch-损失函数和优化器理解
THEENDOFTHEICE的博客
04-09 3310
pytorch损失函数优化器
15.损失函数及其梯度
weixin_44033183的博客
10-13 2447
损失函数及其梯度 损失函数 1.Mean Squared Error均方差（MSE） 2.Cross Entropy Loss交叉熵损失(分类误差) 即可用于binary二分类也可用于multi-class多分类 搭配softmax激活函数在Logistic Regression Part（逻辑回归部分）中使用 MSE 线性感知机下的梯度求导情况 全连接层的MSE梯度求导 ...
softmax 损失函数以及梯度推导计算
ruotianxia的博客
01-21 1487
在 考虑数值计算稳定性情况下的Softmax损失函数的公式如下 ： 对所有样本及计入正则化惩罚后，损失函数公式为： 我们先从 Li看起。 f(i,j)即矩阵f(x,w)中的第i,j个元素。我们与之前一样求出样本集与权重集之间的评分集即可。 max(fj)即在第i个样本的所有分类得分中最大的得分。从式中看，评分集中的每一个元素都需要减去这个最大得分，这可以通过矩阵操作的广播机制来完成。同...
第八章 梯度一致算法
王小波的博客
09-10 1041
这一章我们将学习如何将梯度一致作为元学习的优化目标。正如在MAML中看到的，我们对任务间的梯度进行平均，并更新模型参数。在梯度一致算法中，我们将使用梯度的加权平均来更新模型参数，并学习如何向梯度添加权重来找到更好的模型参数。 梯度一致，一种优化算法 梯度一致算法用于增强元学习算法，在MAML和Reptile中，我们试图找到更好的、可在多个相关任务间泛化的模型参数，这样就可以用更少的数据点快速学习。 如何把权重和梯度联系起来，能够体现不同梯度一致的重要性？因此，我们通过添加与每个梯度相乘的权重，重写了外
梯度下降算法如何最小化损失函数
最新发布
06-05
梯度下降是一种常用的优化算法，主要用于最小化损失函数。其基本思想是，根据当前位置的梯度信息，以一定的步长向损失函数下降的方向移动，直到达到损失函数的最小值。具体来说，可以按照以下步骤进行： 1. 随机初始化模型参数； 2. 计算当前模型在训练集上的损失函数值和梯度信息； 3. 根据梯度信息和学习率大小，更新模型参数； 4. 重复第2-3步，直到达到一定的迭代次数或者达到一定的停止条件。 其中，学习率是梯度下降算法中的一个重要超参数，它决定了每次参数更新的步长大小。如果学习率过大，则可能会导致参数在搜索过程中来回震荡，难以收敛；如果学习率过小，则可能会导致算法收敛速度缓慢。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值