深度学习笔记 —— 数值稳定性 + 模型初始化和激活函数

最新推荐文章于 2023-05-12 18:08:16 发布
最新推荐文章于 2023-05-12 18:08:16 发布
阅读量682 收藏
点赞数
分类专栏： # 深度学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LightInDarkness/article/details/123649741
版权

t：层

h^{t-1}：第t-1层隐藏层的输出

y：要优化的目标函数

这里的h都是一些向量，向量关于向量的导数是一个矩阵，这里做了太多的矩阵乘法，就容易导致梯度爆炸和梯度消失的问题。

 

 

 

因此我们既要避免梯度太大，也要避免梯度太小 

 

归一化：比如说把梯度变为一个均值为0，方差为1的数（把过大的值拉回来）

梯度裁剪：比如说梯度大于5，就变成5，即把梯度限制在一定范围内

 

个人理解：为了将输出和梯度限定在一定范围内，我们从权重初始化和激活函数的选择入手，通过一系列的公式推到，得出不同情况下该怎样进行优化以达到我们的目的 

 

 

 

 

 

 

 

 

Whisper_yl
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ESL2.6 统计模型，监督学习和函数逼近学习笔记
01-06
2.6 统计模型，监督学习和函数逼近 这是一篇有关《统计学习基础》，原书名The Elements of Statistical Learning的学习笔记，该书学习难度较高，有很棒的学者将其翻译成中文并放在自己的个人网站上，翻译质量非常高...
吴恩达深度学习作业笔记和作业源码+笔记.zip
03-10
吴恩达深度学习作业 吴恩达深度学习作业笔记和作业源码+笔记.zip吴恩达深度学习作业笔记和作业源码+笔记.zip吴恩达深度学习作业笔记和作业源码+笔记.zip吴恩达深度学习作业笔记和作业源码+笔记.zip
动手学深度学之数值稳定性&模型初始化&激活函数
Trony的博客
08-11 302
数值稳定性 神经网络的梯度 这里的t是第t层，这里hth^tht是第t层的输出，y表示表示第1层到第d层的加上一个损失函数的一个目标函数。 如果这里要计算损失l\mathcal{l}l关于第t层的参数WtW_tWt​的梯度，就是用链式法则，一直往下求，求到第t层，这里我们的h是一个向量，向量关于向量的导数是一个矩阵，所以这里就可以看作d-t次的矩阵的乘法，这样的一个矩阵的乘法带来了两个问题，一个是梯度爆炸，一个是梯度消失 数值稳定性的常见两个问题 例子 假如如下MLP(多层感知机)(这里为了简单省
【笔记】动手学深度学习 - 数值稳定性 + 模型初始化和激活函数
echo_gou的博客
08-31 285
数值稳定性 其中t为层。为t-1层的输出 如果层数比较多，就有可能出现梯度爆炸或者梯度消失。 生物神经元似乎是用 Sigmoid（S 型）激活函数活动的，因此研究人员在很长一段时间内坚持 Sigmoid 函数。但事实证明，Relu 激活函数通常在 ANN 工作得更好。这是生物研究误导的例子之一。当神经网络有很多层，每个隐藏层都使用Sigmoid函数作为激励函数时，很容易引起梯度消失的问题 因为sigmoid有一个缺点：当x较大或较小时，导数接近0；并且Sigmoid函数导...
数值稳定性 + 模型初始化和激活函数
taoist1997的博客
12-25 406
14 数值稳定性 + 模型初始化和激活函数【动手学深度学习v2】
李沐-数值稳定性+模型初始化和激活函数
O_011的博客
08-29 197
李沐-数值稳定性+模型初始化和激活函数
深度学习笔记——数值稳定性、模型初始化与激活函数
静静的学习就好
05-12 635
本节将对数值稳定性、模型初始化以及激活函数进行系统介绍。
深度学习（基于Tensorflow2.0）学习笔记——Day2
01-20
昨天已经把关于深度学习的一些基础知识简要回顾了一下，那么从今天开始就要正式开始实战了。正所谓“万事开头难”，但如果不迈出第一步就永远无法知道自己究竟能不能完成。所以不要望而生畏，更不能眼高手低，放低...
深度学习（基于Tensorflow2.0）学习笔记——Day4
01-07
这也就引出了我们接下来学习的内容： 数据归一化处理 回调函数的作用 数据归一化处理 归一化大家都不陌生，简单的理解，它的作用就是把你需要用到的数据经过处理后（通过某种算法）将其限制在你所规定的范围内。那么...
深度学习模型的基本结构——RNN
02-25
本文来自于个人博客，本文为深度学习课程笔记，通过流程图，详细介绍了深度学习模型的基本结构，希望对您的学习有所帮助。深度学习的基本步骤：定义模型-->定义损失函数-->找到优化方法课程大纲1、熟悉定义...
深度学习——数值稳定性+模型初始化+激活函数（笔记）
jbkjhji的博客
11-22 433
②对学习率敏感：学习率太大，大的参数，梯度更大了。学习率太小，小的参数乘梯度，优化不起作用了。所以 d-t很大代表层数多，W大于1，值很大，梯度爆炸。一.数值稳定性：随着网络的层数的增加，数值可能变得不稳定。①目标：让梯度值在合理的范围内[1e-6,1e3]y是损失函数也是目标函数，从第一层一直到d层。二，让训练更加稳定【梯度不能太小和太大】合理的权重初始和激活函数（对梯度的影响）输入的值大一些，梯度就接近于0.②计算损失函数l关于参数的梯度，③归一化：梯度归一化，梯度裁剪。第t层隐藏层的计算，省略偏移。
读书笔记-数值稳定性和模型初始化
scar2016的博客
11-27 1532
文章目录1. 背景 1. 背景
动手学深度学习（十六）——数值稳定性和模型初始化(公式说明)
Liu Feng's Blog
07-29 1697
文章目录一、数值稳定性——梯度消失和梯度爆炸二、多层感知机器（MLP）中说明梯度爆炸和梯度消失2.1 梯度爆炸梯度爆炸的问题2.2 梯度消失梯度消失的问题2.3总结如何让训练更加稳定？三、模型初始化和激活函数3.1 权重初始化3.2 让每一层的方差都是一个常数Xavier初始化：以多层感知机为例假设线性的激活函数3.3 总结 一、数值稳定性——梯度消失和梯度爆炸 考虑一个具有LLL层、输入x\mathbf{x}x和输出o\mathbf{o}o的深层网络。每一层lll由变换flf_lfl​定义，该变换的参数为
李沐《动手学深度学习》课程笔记：14 数值稳定性 + 模型初始化和激活函数
weixin_44850744的博客
03-03 1105
目录 14 数值稳定性 + 模型初始化和激活函数 1.数值稳定性 2.模型初始化和激活函数 14 数值稳定性 + 模型初始化和激活函数 1.数值稳定性 考虑一个具有L层、输入x和输出o的深层网络。 每一层l由变换fl定义， 该变换的参数为权重W(l)， 其隐藏变量是h(l)（令h(0)=x）。 我们的网络可以表示为： (4.8.1)h(l)=fl(h(l−1))因此o=...
动手学深度学习——模型参数的访问、初始化和共享
橙子的博客
01-26 1931
这一节我们从nn 中导⼊了 init 模块，它包含了多种模型初始化⽅法。 import torch from torch import nn from torch.nn import init net=nn.Sequential(nn.Linear(4,3),nn.ReLU(),nn.Linear(3,1)) #pytorch已进行默认初始化 print(net) X=torch.rand(2,4) Y=net(X).sum() 输出： """访问模型参数""" #通过 Module 类
深度学习常用的初始化方法
Pichairen
06-27 1047
参考链接：https://blog.csdn.net/xxy0118/article/details/84333635 tf.Variable(tf.random_normal([3, 3, 64, self.c_dim], stddev=np.sqrt(2.0 / 9 / 64))) 其中9 = 3*3 表示卷集成中卷积核的宽和高，64表示当前卷积核的个数。 ...
TensorFlow 参数初始化方法
02-20 1990
一、tf.truncated_normal_initializer初始化为正太分布 1. tf.truncated_normal_initializer tf.truncated_normal_initializer的意思是：从截断的正态分布中输出随机值。 生成的值服从具有指定平均值和标准偏差的正态分布，如果生成的值大于平均值2个标准偏差的值则丢弃重新选择。 ARGS： mean：一个python标量或一个标量张量。要生成的随机值的均值。 stddev：一个python标量或一个标量张量。要生成的.
tensorflow参数初始化方法
sophicchen的专栏
12-02 3611
在tensorflow中，经常会遇到参数初始化问题，比如在训练自己的词向量时，需要对原始的embeddigs矩阵进行初始化，更一般的，在全连接神经网络中，每层的权值w也需要进行初始化。 tensorlfow中应该有以下几种初始化方法 1.tf.constant_initializer() # 常数初始化 2.tf.ones_initializer() # 全1初始化 3.tf.zeros_...
深度学习——模型的初始化
m0_61796189的博客
05-20 4584
在深度学习模型的训练中，权重的初始值极为重要。一个好的权重值，会使模型收敛速度提高，使模型准确率更精确，因此本文主要介绍torch.nn.init以及如何使用
oFono学习笔记——modem初始化分析
最新发布
06-08
在使用oFono之前，我们需要对Modem进行初始化配置，以确保Modem能够正常工作。 Modem初始化分为以下几个步骤： 1. 确定Modem的设备文件路径：通常情况下，Modem的设备文件路径为/dev/ttyUSB0或/dev/ttyACM0等串行...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值