系统学习Pytorch笔记六：模型的权值初始化与损失函数介绍

已于 2022-05-15 18:27:17 修改
阅读量4.5k 收藏 68
点赞数 30
分类专栏： Pytorch学习笔记 文章标签： Pytorch学习 模型的权值初始化 损失函数 Kaiming和Xavier
于 2020-04-24 19:08:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wuzhongqiang/article/details/105590118
版权
本文介绍了Pytorch中权重初始化的重要性和常见方法，包括梯度消失与爆炸现象、Xavier和Kaiming初始化。此外，详细讲解了损失函数的概念，特别是交叉熵损失函数及其特例，如NLLLoss、BCELoss和BCEWithLogitsLoss，以及其他的14种损失函数。最后，总结了不同任务中适用的损失函数类型。
摘要由CSDN通过智能技术生成

Pytorch官方英文文档：https://pytorch.org/docs/stable/torch.html?
Pytorch中文文档：https://pytorch-cn.readthedocs.io/zh/latest/

1. 写在前面

疫情在家的这段时间，想系统的学习一遍Pytorch基础知识，因为我发现虽然直接Pytorch实战上手比较快，但是关于一些内部的原理知识其实并不是太懂，这样学习起来感觉很不踏实， 对Pytorch的使用依然是模模糊糊， 跟着人家的代码用Pytorch玩神经网络还行，也能读懂，但自己亲手做的时候，直接无从下手，啥也想不起来， 我觉得我这种情况就不是对于某个程序练得不熟了，而是对Pytorch本身在自己的脑海根本没有形成一个概念框架，不知道它内部运行原理和逻辑，所以自己写的时候没法形成一个代码逻辑，就无从下手。 这种情况即使背过人家这个程序，那也只是某个程序而已，不能说会Pytorch， 并且这种背程序的思想本身就很可怕， 所以我还是习惯学习知识先有框架（至少先

了解本专栏 订阅专栏 解锁全文 超级会员免费看
翻滚的小@强
关注
专栏目录
订阅专栏
pytorch模型权重初始化
qq_26024067的博客
07-09 623
pytorch模型权重初始化 官方API **torch.nn.init.**uniform_(tensor, a=0.0, b=1.0) 从均匀分布 U(a,b) 中生成值，填充输入的张量 torch.nn.init.normal_(tensor, mean=0.0, std=1.0) 从给定均值 mean 和标准差 std 的正态分布中生成值，填充输入的张量 torch.nn.init.constant_(tensor, val) 用 val 的值填充输入的张量 torch.nn
PyTorch模型权重初始化全攻略
最新发布
xziyuan的博客
07-08 407
Pytroch常见的模型参数初始化方法有apply和model.modules()。Pytroch会自动给模型进行初始化，当需要自己定义模型初始化时才需要这两个方法。
Pytroch进行模型权重初始化
qq_43428929的博客
07-20 3800
Pytroch常见的模型参数初始化方法有apply和model.modules()。Pytroch会自动给模型进行初始化，当需要自己定义模型初始化时才需要这两个方法。
Pytroch 模型权重初始化
weixin_39910711的博客
05-18 2412
权值初始化是指在网络模型训练之前，对各节点的权值和偏置初始化的过程，正确的初始化会加快模型的收敛，从而加快模型的训练速度，而不恰当的初始化可能会导致梯度消失或梯度爆炸，最终导致模型无法训练。
pytorch中的权值初始化方法
Maisule的博客
05-20 1003
1. 常用的初始化方法 1.1 均匀分布初始化（uniform_） 使值服从均匀分布 U(a,b) torch.nn.init.uniform_(tensor, a=0.0, b=1.0) 复制代码 tensor——一个n维的torch.Tensor a – 均匀分布的下界 b – 均匀分布的上限 1.2 正态分布初始化（normal_） 使值服从正态分布 N(mean, std)，默认值为 0，1 torch.nn.init.normal_(tensor, mean=0.0, std=
pytorch学习笔记九：权值初始化
Dear_learner的博客
02-21 2480
一、概念 权值初始化是指在网络模型训练之前，对各节点的权值和偏置初始化的过程，正确的初始化会加快模型的收敛，从而加快模型的训练速度，而不恰当的初始化可能会导致梯度消失或梯度爆炸，最终导致模型无法训练。 如上图所示的一个基本的CNN网络结构，数据在网络结构中流动时，会有如下的公式（默认没有偏置）： 在反向传播的过程中，由于是复合函数的求导，根据链式求导法则，会有两组导数，一个是损失函数Cost对Z的导数，一个是损失函数对W的导数， 1、损失函数关于状态Z的梯度： 2、损失函数关于W的梯度： 可以看出，
pytorch学习笔记十：权值初始化的十种方法
Dear_learner的博客
02-23 1865
在上一节中了解了为什么要进行权值初始化以及如何选择权值初始化方法，在这一节来了解一下pytroch中十种权值初始化方法 一、权值初始化流程 1、先设定什么层用什么初始化方法，初始化方法在 torch.nn.init 中给出； 2、实例化一个模型之后，执行该函数，即可完成初始化。 示例： def initialize_weights(self): for m in self.modules: # 对卷积层进行初始化 if isinstance(m, nn.Conv2d)
系统学习Pytorch笔记九：正则化与标准化大总结
Miracle8070
04-27 3134
Pytorch官方英文文档：https://pytorch.org/docs/stable/torch.html? Pytorch中文文档：https://pytorch-cn.readthedocs.io/zh/latest/ 1. 写在前面 疫情在家的这段时间，想系统的学习一遍Pytorch基础知识，因为我发现虽然直接Pytorch实战上手比较快，但是关于一些内部的原理知识其实并不是太懂，这样...
系统学习Pytorch笔记七：优化器和学习率调整策略
Miracle8070
04-26 6121
Pytorch官方英文文档：https://pytorch.org/docs/stable/torch.html? Pytorch中文文档：https://pytorch-cn.readthedocs.io/zh/latest/ 1. 写在前面 疫情在家的这段时间，想系统的学习一遍Pytorch基础知识，因为我发现虽然直接Pytorch实战上手比较快，但是关于一些内部的原理知识其实并不是太懂，这样...
Pytorch 实现权重初始化
09-18
今天小编就为大家分享一篇Pytorch 实现权重初始化，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch卷积层手动初始化权值的实例
09-18
今天小编就为大家分享一篇Pytorch卷积层手动初始化权值的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch深度学习-权值初始化
qq_43263543的博客
03-20 1015
前面学习了搭建网络模型的各个层级与结构，想要训练得到1个良好的网络模型，正确的权值初始化方法可以加快模型的收敛，相反，不恰当的权值初始化可能导致梯度爆炸或消失，最终导致模型无法训练。因此，本节主要从3方面来分析了解权值初始化：（1）分析不恰当的权值初始化是如何引发梯度消失与爆炸的？（2）学习常用的Xavier与Kaiming权值初始化方法；（3）学习Pytorch中10种权值初始化方法。 梯度爆炸和消失 一、理论 图1 3层全连接网络与其对应的计算图 根据计算图，列写出计算图的前向传播计算公式，关注第2个
pytorch权值初始化和损失函数
一位在路上的工程师的博客
03-09 664
可以发现，w2的梯度与H1（上一层网络的输出）有很大的关系，当h1趋近于0时，w2的梯度也趋近于0，当h1趋近于无穷大时，w2的梯度也趋近于无穷大。 一旦发生梯度消失或梯度爆炸，那么网络将无法训练，为了避免梯度消失或梯度爆炸的出现，需要控制网络输出值的范围（不能太大也不能太小）
Pytorch —— 权值初始化
然后就去远行
06-13 1283
1、梯度消失与爆炸 这里使用一个三层的全连接网络，现在观察一下第二个隐藏层W2W_2W2​的权值的梯度是怎么求取的。 根据链式求导法则可以知道，W2W_2W2​的求导如下： H2=H1∗W2\mathrm{H}_{2}=\mathrm{H}_{1} * \mathrm{W}_{2}H2​=H1​∗W2​ ΔW2=∂Loss∂W2=∂Loss∂out⋆∂out∂H2⋆∂H2∂w2\Delta \mathrm{W}_{2}=\frac{\partial \mathrm{Loss}}{\partial \mat
Pytorch学习笔记（6）：模型的权值初始化与损失函数
路人贾的博客
02-19 3165
Pytorch学习笔记（6）：模型的权值初始化与损失函数
Pytorch教程[06]权值初始化
YOLOv8项目贡献者
03-12 1776
背景知识 神经网络的训练过程中的参数学习是基于梯度下降法进行优化的。梯度下降法需要在开始训练时给每一个参数赋一个初始值，因此权重初始化的选取十分的关键，设定什么样的初始化方法关系到模型能否成功学习。那么如果我们把权重初始值全部设置为0，会怎样？？？通常来说，把权值初始值设置成0，不是一个理性的选择，因为实际上如果初始化为0的话，模型将无法学习。因为如果参数都为0，在第一遍前向计算时，所有的隐层神经元的激活值都相同。这样会导致深层神经元没有区分性。这种现象也称为对称权重现象。因此为了打破这个现象，比较好的方式
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值