【Pytoch】8. 梯度消失和学习速率下降

最新推荐文章于 2024-01-07 02:04:32 发布
最新推荐文章于 2024-01-07 02:04:32 发布
阅读量555 收藏 1
点赞数
分类专栏： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35272180/article/details/115326362
版权

上一节讲了神经网络的优化办法，这节讲神经网络会遇到的其他问题

文章目录

梯度消失

看一下sigmoid激活函数的图像，在两端的导数都非常的小

在这里插入图片描述

那么在多层感知机中，反向传播计算梯度的时候，这种情况尤为明显

在这里插入图片描述

这也就意味着，我们在梯度下降的时候，迈的步子非常非常小，可能永远也无法从山上下来，这种现象就叫做梯度消失

在这里插入图片描述

如何解决这个问题呢？

使用其他激活函数

一个方法就是使用其他激活函数，比如说双曲正切

在这里插入图片描述

Relu函数，这个函数也是除了sigmoid之外最常用的，我们可以在前面的一些单元使用relu函数，最后使用sigmoid函数，因为sigmoid会返回0~1的值

在这里插入图片描述

动量

还有一个方法就是动量，动量β是一个0~1之间的数，每次的步长跟前几次的步长有关系，上一步×1，再上一步×β，再再上一步×β²……，越往前的影响越小，这种方法在实际应用中效果很好

在这里插入图片描述

批次与随机梯度下降

在计算的时候，每次都需要把所有的数据带入吗？这样会导致非常庞大的矩阵运算。

如果数据分布合理，那么只要其中一小部分的数据，就可以得到梯度下降的方向，最然不是最准确的梯度估算结果，但是这样计算很快。

比如我们有24个点，就分成4个batch，每个batch 6个点，先拿出第一个batch的数据，正向传播反向传播之后得到更新的weights，然后再用更新的weights拿出第二batch的数据完成相同的流程，得出更好的权重和更好的boundary界限区域……

学习速率衰退

如果学习速率太大，那么可能最后会在最小值附近震荡，如果速率太小，速度又很慢

在这里插入图片描述

我们可以使用学习速率衰减的方法

本系列笔记来自Udacity课程《Intro to Deep Learning with Pytorch》

全部笔记请关注微信公众号【阿肉爱学习】，在菜单栏点击“利其器”，并选择“pytorch”查看

在这里插入图片描述

阿肉~
关注
专栏目录
反向传播，梯度下降，梯度消失，学习率，过拟合
cumtchw
01-08 694
一：反向传播 目标：给出输入数据i1,i2(0.05和0.10)，使输出尽可能与原始输出o1,o2(0.01和0.99)接近。 二：梯度下降 三：学习率
梯度消失和梯度爆炸问题详解，学习率、权重衰减、动量
LEELOVESTUDY的博客
08-24 953
https://www.jianshu.com/p/3f35e555d5ba https://blog.csdn.net/rocling/article/details/92828799
PytorchTotrial3_梯度消失、梯度爆炸
胖虎卖汤圆的博客
02-19 332
梯度消失、梯度爆炸以及Kaggle房价预测 梯度消失和梯度爆炸 考虑到环境因素的其他问题 Kaggle房价预测 梯度消失和梯度爆炸 深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。 当神经网络的层数较多时，模型的数值稳定性容易变差。 假设一个层数为LLL的多层感知机的第lll层H(l)\boldsymbol{H}^{(l)}H(l)的权重参数为W(l)...
学习速率递减
jkchen's Haven
12-11 661
存在的问题 在mini-batch梯度下降法中，由于多个mini-batch的互相干扰，如果到了低谷附近还保持很大的学习速率，可能会一直来回波动。而一开始设置较小的学习速率下降又太慢。 学习速率递减 为了解决上述问题，很自然的想到了学习速率的递减。 开始时学习速率较大，而当epoch到达一定程度的时候适当的减少。 方法一： α′=11+decayrate∗epochnumα\alpha'=\dfr...
从零开始学Pytorch（六）之梯度消失、梯度爆炸
Wenrui Xie的博客
02-28 3328
深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。 当神经网络的层数较多时，模型的数值稳定性容易变差。 假设一个层数为的多层感知机的第层的权重参数为，输出层的权重参数为。为了便于讨论，不考虑偏差参数，且设所有隐藏层的激活函数为恒等映射（identity mapping）。给定输入，多层感知机的第层的输出。此时，如果层数较大，的计算可能会出现衰减或爆炸。举个例...
PyTorch学习（二）——使用numpy和PyTorch分别实现梯度下降法
mryeator的博客
08-11 958
1. 梯度下降法介绍 梯度下降法简单来说就是一个迭代优化算法，目的是找到函数的局部最小值，该算法与最小二乘法相似，用于求解线性回归问题，但梯度下降的意义在于通过寻找梯度最大的方向下降（或上升），来找到损失函数最小时所对应的参数值。 梯度下降法有成熟的推导步骤与求解公式，并且有三种不同的实现类型： 参考资料：梯度下降法介绍及python实现 ① 批量梯度下降（BGD）：每次使用全量的训练集样本来更新...
Pytorch中的梯度问题汇总
surymy
06-19 1637
目录1.梯度定义2.极小值3.常见函数的梯度3.激活函数(1) 定义(2) sigmoid函数(3) Tanh函数(4) ReLU4. loss及其梯度(1) MSE(2) cross entropy loss 1.梯度定义 函数的梯度是一个向量，这个向量的方向代表这个函数在当前点的增长的方向，向量的模表示这个向量在当前这个点增长的速率。 2.极小值 求最小值经常遇到两种情况比较麻烦，一种是局部极小值，另一种是鞍点。 3.常见函数的梯度 比如给出一个函数y=xw+b，其中w,b都是自变量 对w的偏微分
基于pytorch的梯度下降、学习速率、反向传播算法和优化器
jianshanzhange的博客
01-08 142
梯度下降算法用于寻找损失函数的极值点。 梯度的输出是一个由若干偏导数构成的向量，它的每个分量对应于函数对输入向量的相应分量的偏导。比如说有多个权重，一个输出。 梯度的输出向量表明了在每个位置损失函数增长最快的方向，可将它视为表示了在函数的每个位置向哪个方向移动函数值可以增长。 我们想让损失下降的最快，所以沿着反方向去移动。 图解 ...
pytorch梯度下降函数_numpy和pytorch实现梯度下降法
weixin_39770592的博客
12-21 363
1 梯度下降原理首先，我们有一个可微分的函数。这个函数就代表着一座山。我们的目标就是找到这个函数的最小值，也就是山底。根据之前的场景假设，最快的下山的方式就是找到当前位置最陡峭的方向，然后沿着此方向向下走，对应到函数中，就是找到给定点的梯度 ，然后朝着梯度相反的方向，就能让函数值下降的最快！所以，我们重复利用这个方法，反复求取梯度，最后就能到达局部的最小值，这就类似于我们下山的过程。而求取梯度就确...
pytorch利用梯度下降求方程的最小值_day2
tjjyqing的博客
04-14 1105
pytorch 我们需要求解上面函数f（x,y）的最小值，方法如下。 import numpy as np from mpl_toolkits.mplot3d import Axes3D from matplotlib import pyplot as plt import torch def himmelblau(x): # 利用梯度下降计算这个函数的最小值 return (x[0] ** 2 + x[1] - 11) ** 2 + (x[0] + x[1] ** 2 - 7) ** 2
《动手学深度学习PyTorch版》打卡_Task3，过拟合，欠拟合，梯度消失，梯度爆炸
01-20
最近参加了伯禹平台和Datawhale等举办的《动手学深度学习PyTorch版》课程，对过拟合，欠拟合，梯度消失，梯度爆炸做下笔记。 过拟合和欠拟合 模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting） 模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合 解决方法 权重衰减 权重衰减等价于 L2 范数正则化（regularization）。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。带有L2L2范数惩罚项的新损失函数为： 其中超参数λ>0。当权重参数均为0时，惩罚项最小。当λ较大时，惩罚项在损失函数中的比重较大
梯度消失，梯度爆炸.md
02-13
梯度消失、梯度爆炸以及Kaggle房价预测 梯度消失和梯度爆炸 考虑到环境因素的其他问题 Kaggle房价预测
L8梯度消失、梯度爆炸.ipynb
02-14
2020 年参加伯禹教育pytorch培训资料-L8梯度消失、梯度爆炸 jupyter notebook源文件 介绍梯度消失和梯度爆炸的基本概念 介绍影响模型效果的其他因素影响：协变量偏移，标签偏移，概念偏移 介绍Kaggle房价预测的实现流程
梯度消失与学习率的影响
程序员光剑
08-24 183
作者：禅与计算机程序设计艺术 1.简介 随着深度学习的火爆发展，越来越多的人加入到这一领域中来，不断提升模型性能的同时也在加剧对深层神经网络中的一些问题的关注。其中一个很重要的问题就是梯度消失问题，即模型训练时某些参数的导数值变得非常小，导致模型更新时，其权重变化量变得非常小，进而导致模型难以继续训练甚
【pytorch】梯度爆炸/消失解决办法
胡侃有料的博客
09-22 5538
every blog every motto: You can do more than you think. 0. 前言 记录一种解决梯度爆炸/消失的解决办法，后续出现类似情况再进行增补 1. 正文 1.1 介绍 1.1.1 背景 训练过程中，出现损失为nan了，知道情况不妙了，如下 1.1.2 用tensorboard记录下梯度情况 说明： 数据比较大，所以 在每次迭代过程中记录 注意： 每次迭代是耗时的，因为会将损失从GPU传递到CPU，然后再进行记录，我们通过nvidia-smi查看GPU使用情
Task03-pyTorch(过拟合、欠拟合，梯度消失、爆炸，循环神经网络进阶)
YoungNUAA的博客
03-04 691
Task03-(过拟合、欠拟合，梯度消失、爆炸，循环神经网络进阶) 过拟合欠拟合及其解决方案 训练误差：指模型在训练数据集上表现出的误差。 泛化误差：指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似（尽量降低泛化误差）。 模型数据划分 1：添加验证集 测试集只能在所有超参数和模型参数选定后使用一次。不可以使用测试数据选择模型，如调参。由于无法从训练误差估计泛...
pytorch-梯度消失、梯度爆炸以及Kaggle房价预测
weixin_42479155的博客
02-16 519
梯度消失、梯度爆炸以及Kaggle房价预测 梯度消失和梯度爆炸 考虑到环境因素的其他问题 Kaggle房价预测 梯度消失和梯度爆炸 深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。 当神经网络的层数较多时，模型的数值稳定性容易变差。 假设一个层数为LLL的多层感知机的第lll层H(l)\boldsymbol{H}^{(l)}H(l)的权重参数为W(l)...
梯度消失和梯度爆炸-《动手学深度学习pytorch》
serenysdfg的博客
02-25 283
深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。 当神经网络的层数较多时，模型的数值稳定性容易变差。 多层感知机的第????l层的输出????(????)=????????(1)????(2)…????(????)H(l)=XW(1)W(2)…W(l)。此时，如果层数????l较大，????(????)H(l)的计算可能会出现衰减或爆炸。 如权重参数为0.2和5，多层感知机的第30层输出为输入????X分别与0.230≈...
梯度消失的解决方案：学习率调整策略
最新发布
程序员光剑
01-07 549
1.背景介绍 深度学习模型的普及和发展为我们带来了巨大的机遇，同时也为我们带来了诸多挑战。其中，梯度下降算法在训练深度学习模型时，会遇到梯度消失和梯度爆炸的问题。梯度消失(vanishing gradients)问题是指在训练深度神经网络时，由于权重的累积，梯度会逐渐趋近于0，导致模型无法学习到有效的梯度信息，从而导致模型训练效果不佳。梯度爆炸(exploding gradients)问题是指在...
PyTorch深度学习：梯度下降算法详解
本文将深入探讨PyTorch中的深度学习梯度下降算法，这对于理解和实践PyTorch深度学习至关重要。内容涵盖了Tensor对象的基本操作，包括索引和切片，以及Reduction操作，同时强调了自动微分Autograd的重要作用。 在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值