梯度消失与爆炸

最新推荐文章于 2022-03-25 16:43:48 发布
最新推荐文章于 2022-03-25 16:43:48 发布
阅读量324 收藏
点赞数
文章标签： 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xingxingjia66/article/details/104369417
版权
本文探讨了深度学习中常见的梯度消失和梯度爆炸问题，提出了解决方案，包括使用ReLU激活函数、ResNet深度残差网络、批标准化以及随机初始化策略。此外，还提到了在Kaggle房价预测任务中应用这些方法处理数据预处理和模型训练。
摘要由CSDN通过智能技术生成

梯度消失问题的解决方法
梯度消失问题
Sigmoid函数
在这里插入图片描述
在这里插入图片描述
梯度范围可能变得越来越小
在这里插入图片描述
在反向传播超过5层后，梯度可能会消失
激活函数
ReLU函数（rectified linear unit）
在这里插入图片描述
在这里插入图片描述
导数：
在这里插入图片描述
ReLU可被近似为softplut函数
在这里插入图片描述
x增加时ReLU的梯度不会消失，可以用来对正值输入进行建模，由于无需计算指数函数所以它的计算速度很快，使用它可以不再需要“预训练”过程。

ResNet：深度残差网络
训练深度网络的困难性：
在这里插入图片描述
有时，即使是在训练数据上更深层的网络性能也可能比较浅层的网络差。
一个ResNet的构造块
在这里插入图片描述
残差网络在ImageNet上的表现
在这里插入图片描述
在这里插入图片描述
细线表示训练误差，粗线表示中心裁剪（Center Crops）的验证误差，与普通网络相比&

最低0.47元/天 解锁文章
聆听佳音
关注
【跟李沐学AI学习笔记】数据预处理
weixin_45912723的博客
02-02 2574
os.makedirs(name,mode=0o777,exist_ok=False)的作用是创建多层目录。name是想创建的目录名，mode是要为目录设置的权限数字模式，默认的模式为0o777，exist_ok为是否在目录存在时触发异常，exist_ok为True时在目标目录已存在的情况下不会触发FileExistsError异常。 os.path.join是把目录和文件名合并成一个路径，如果不存在以“/”开始的参数，则函数会自动加上。存在以“/”开始的参数，从最后一个以“/”开头的参数开始拼接，之前的
pytorch自学笔记——实战 Kaggle 比赛：预测房价
weixin_50774105的博客
06-10 1965
import hashlib import os import tarfile import zipfile import requests #这一段是用来下载数据集的————不用看 DATA_HUB = dict() DATA_URL = 'http://d2l-data.s3-accelerate.amazonaws.com/' def download(name, cache_dir=os.path.join('..', 'data')): """下载一个DATA_HUB中的文件，返.
【深入浅出学习笔记】李沐《动手学深度学习2.0》之数据预处理学习
程序员龙一
05-11 4361
本文主要是学习李沐：动手学深度学习2.0在线课程的笔记。 视频地址：https://zhuanlan.zhihu.com/p/29125290。 教材全本：https://zh-v2.d2l.ai/ 本课教材：https://zh-v2.d2l.ai/chapter_preliminaries/pandas.html 2021.05.08 数据预处理学习 os文件/目录方法模块学习 举一个例子，我们首先创建一个人工数据集，并存储在csv（逗号分隔值）文件 …/data/house_tiny.csv 中。以其
《动手学深度学习》Task03-2:梯度消失、梯度爆炸以及Kaggle房价预测
weixin_43604754的博客
02-18 180
梯度消失、梯度爆炸以及Kaggle房价预测 梯度消失和梯度爆炸 考虑到环境因素的其他问题 Kaggle房价预测 梯度消失和梯度爆炸 深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。 当神经网络的层数较多时，模型的数值稳定性容易变差。 假设一个层数为LLL的多层感知机的第lll层H(l)\boldsymbol{H}^{(l)}H(l)的权重参数为W(l)...
动手学深度学习 实战Kaggle比赛-房价预测
Weary_PJ的博客
02-16 1314
动手学深度学习 实战Kaggle比赛-房价预测 本文介绍Kaggle比赛的房价预测实战 之前阅读了权重衰减和dropout等方法 结合前几篇文章介绍的多层感知机 所以写此文来记录并巩固 文章目录动手学深度学习 实战Kaggle比赛-房价预测前言正文读取数据集 前言 附上比赛原文地址 点击“Data”标签 下载需要用到的数据 正文 读取数据集 比赛数据分为训练数据集和测试数据集。 两个数据集都包括每栋房子的特征 如道类型、建造年份、房顶类型、地下室状况等特征值。 这些特征值有连续的数字、离散的标
过拟合与欠拟合、梯度消失与爆炸、RNN进阶
01-20
过拟合与欠拟合 专业名词解释： 泛化误差（generalization error）：指模型在任意一个测试数据样本上表现出来的误差的期望，我们通常用测试集上的误差来近似看待. 验证集（validation set）：预留一部分训练数据集...
梯度消失与梯度爆炸
01-06
什么是梯度消失与梯度爆炸 层数比较多的神经网络模型在使用梯度下降法对误差进行反向传播时会出现梯度消失和梯度爆炸问题。梯度消失问题和梯度爆炸问题一般会随着网络层数的增加变得越来越明显。 例如，对于图所示...
伯禹AI – task03 过拟合、欠拟合及其解决方案 -梯度消失与爆炸、循环神经网络进阶
01-06
在介绍以上概念之前要理解 训练集、测试集与验证集的区分：  从严格意义上讲，测试集只能在所有超参数和模型参数选定后使用一次。不可以使用测试数据选择模型，如调参。由于无法从训练误差估计泛化误差，因此也不应...
深度学习困境：梯度消失与爆炸现象详解——以Kaggle房价预测为例
在深度学习领域，梯度消失和梯度爆炸是两个关键但常常困扰神经网络训练的问题。这两个概念主要与神经网络的反向传播算法（Backpropagation）及其权重更新机制相关。当我们构建深度网络时，尤其是那些具有多层隐藏...
Python实现KNN算法
qq_62945476的博客
03-25 1万+
KNN算法
python中星号(*),即(*train_x.shape)的用法
xrinosvip的博客
10-30 1万+
先看一段代码的的运行结果： import numpy as np train_x = np.linspace(-1,1,10) print(train_x.shape) print(train_x.shape[0]) print(*train_x.shape) # *train_x.shape 与 train_x.shape[0] 的结果是一致的 print(train_x[0]...
深度学习笔记--Kaggle比赛之房价预测
beautiful77moon的博客
11-26 848
#获取和读取数据 import torch import torch.nn as nn import pandas as pd #处理数据 import All_function as func #自定义包 torch.set_default_tensor_type(torch.FloatTensor) train_data=pd.read_csv('Kaggle_...
数据预处理（数据的操作2）
dingding_123456的博客
06-03 1539
2.常用数据预处理方法 这个部分总结的是在Python中常见的数据预处理方法。 2.1标准化（Standardization or Mean Removal and Variance Scaling) 变换后各维特征有0均值，单位方差。也叫z-score规范化（零均值规范化）。计算方式是将特征值减去均值，除以标准差。 sklearn.preprocessing.scale(...
在深度学习代码中遇到的问题-shape[0]、shape[1]、shape[2]的区别
热门推荐
xiashilin的博客
11-06 7万+
对于图像来说： img.shape[0]：图像的垂直尺寸（高度） img.shape[1]：图像的水平尺寸（宽度） img.shape[2]：图像的通道数 举例来说，下面是一张300X534X3的图像，我们用代码，进行验证。 代码如下： import matplotlib.image as mpimg # mpimg ...
学习笔记：动手学深度学习 19 Kaggle 预测房价
weixin_43137437的博客
11-09 686
Python 3.8.8 (default, Apr 13 2021, 15:08:03) [MSC v.1916 64 bit (AMD64)] Type 'copyright', 'credits' or 'license' for more information IPython 7.22.0 -- An enhanced Interactive Python. Type '?' for help. PyDev console: using IPython 7.22.0 Python 3.8.8 (.
《动手学深度学习》Pytorch版学习笔记（一）：Task02
qq_30006749的博客
02-14 564
《动手学深度学习》Pytorch版学习笔记（一）：Task02课程背景主修课程1 任务2 过拟合、欠拟合及其解决方案2.1 过拟合、欠拟合的概念2.2 权重衰减2.3 丢弃法2.4 总结3 梯度消失、梯度爆炸以及Kaggle房价预测3.1 梯度消失和梯度爆炸3.2 考虑到环境因素的其他问题3.3 Kaggle房价预测 课程背景 在疫情的影响下，不少学校已经做出了延迟开学的决定，：伯禹教育、Data...
2021-10-19
Gqyxzt的博客
10-19 135
import paddle from paddle.nn import Linear import paddle.nn.functional as F import os import numpy as np import matplotlib.pyplot as plt train_dataset = paddle.vision.datasets.MNIST(mode=‘train’) train_data0 = np.array(train_dataset[0][0]) train_lable_0 =
PyTorch的nn.Linear（）详解
zerone_zjp的博客
09-16 1万+
nn.Linear（） PyTorch的 nn.Linear（）是用于设置网络中的全连接层的 需要注意的是全连接层的输入与输出都是二维张量，一般形状为[batch_size, size]，不同于卷积层要求输入输出是四维张量。 其用法与形参说明如下： in_features指的是输入的二维张量的大小，即输入的[batch_size, size]中的size。 out_features指的是输出的二维张量的大小，即输出的二维张量的形状为[batch_size，output_size]，当然，它也代表了该全连接
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值