UserWarning: nn.init.kaiming_normal is now deprecated in favor of nn.init.kaiming_normal_.

最新推荐文章于 2024-03-27 09:31:30 发布
最新推荐文章于 2024-03-27 09:31:30 发布
阅读量3.3k 收藏 4
点赞数 2
分类专栏： Pytorch python 深度学习 文章标签： torch deprecation warning nn.init.kaiming_normal 解决方法 模型训练
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/irober/article/details/122165041
版权
python 同时被 3 个专栏收录
23 篇文章 3 订阅
订阅专栏
深度学习
21 篇文章 0 订阅
订阅专栏
Pytorch
18 篇文章 1 订阅
订阅专栏

基于torch1.8.1 训练模型时，出现如下warning，记录解决方法。

UserWarning: nn.init.kaiming_normal is now deprecated in favor of nn.init.kaiming_normal_.

解决：
出现警告的原因，是torch版本的更新导致之前的参数不再使用。然而警告并不影响代码运行，所以可以不管。但是，为了输出不再出现警告，可加入忽视warning的代码：

import warnings
warnings.filterwarnings('ignore')
irober
关注
专栏目录
【解决两个警告】Model.fit_generator` is deprecated and will be removed in a future version. Please use `Mode
追光者♂：记录、分享、总结、提升，现象级专栏《Python从入门到人工智能》作者，无惧黑暗，坚信曙光
11-15 2592
解决训练vgg时 遇到 的两个警告。【解决两个警告】Model.fit_generator` is deprecated and will be removed in a future version. Please use `Mode。人工智能 面试题：如何解决样本标签不平衡的问题？
torch.nn.init.kaiming_normal_
weixin_36670529的博客
08-17 1万+
torch.nn.init.kaiming_normal_(tensor, a=0, mode='fan_in', nonlinearity='leaky_relu')[source] Fills the input Tensor with values according to the method described in Delving deep into rectifiers: Surp...
UserWarning: nn.init.normal is now deprecated in favor of nn.init.normal_
qq_43960994的博客
10-21 4571
在保存之前将图像转换为uint8以禁止显示此警告。 解决办法：乘以255，然后加.astype(np.uint8)。
Pytorch Kaiming 初始化（Initialization）中fan_in和fan_out的区别/应用场景
bxdzyhx的博客
02-28 4776
fan_in 如果权重是通过线性层（卷积或全连接）隐性确定的，则需设置mode=fan_in。 例子： import torch linear_layer = torch.nn.Linear(node_in, node_out) init.kaiming_normal_(linear.weight, mode=’fan_in’) output_data = relu(linear_layer(input_data)) fan_out 如果通过创建随机矩阵显式创建权重，则应进行设置mode=‘fan_ou
PyTorch----torch.nn.init.kaiming_normal_
最新发布
xinxin的博客
03-27 1792
具体而言，对于ReLU激活函数，Kaiming初始化方法使用了激活函数的非线性属性，将权重初始化为以0为中心、标准差为sqrt(2 / fan_in)的正态分布，其中fan_in表示输入的数量。Kaiming初始化方法用正态分布中采样的值初始化权重，该正态分布的均值为0，标准差根据层中使用的特定非线性计算。传统的初始化方法，如Xavier初始化，是根据输入和输出层的连接数来初始化权重的，但在使用ReLU激活函数时，这种方法可能导致梯度在反向传播过程中逐渐消失，尤其是在深度网络中。该参数影响如何计算标准差。
【torch杂记】torch.nn.init.kaiming_normal_
椰子奶糖的博客
07-03 1万+
torch.nn.init.kaiming_normal_ 文章目录torch.nn.init.kaiming_normal_参考源码 参考 torch.nn.init.kaiming_normal_ python中的numel()函数 源码 这个函数就是实现这个公式 std=gainfan_mode \text{std} = \frac{\text{gain}}{\sqrt{\text{fan\_mode}}} std=fan_mode​gain​ def kaiming_normal_(
UserWarning: nn.init.xavier_uniform is now deprecated in favor of nn.init.xavier_uniform_. nn.init.xavier_uniform(m.weight, gain=nn.init.calculate_gain('relu'))
06-08
这个警告意味着 PyTorch 中的 `nn.init.xavier_uniform` 已被弃用，建议使用 `nn.init.xavier_uniform_` 替代。为了避免这个警告，你可以将原来的代码： ``` nn.init.xavier_uniform(m.weight, gain=nn.init....
梯度剪裁: torch.nn.utils.clip_grad_norm_()
Mikeyboi的博客
08-08 2万+
目录前言一、原理二、使用方法总结 前言 当神经网络深度逐渐增加，网络参数量增多的时候，反向传播过程中链式法则里的梯度连乘项数便会增多，更易引起梯度消失和梯度爆炸。对于梯度爆炸问题，解决方法之一便是进行梯度剪裁，即设置一个梯度大小的上限。本文介绍了pytorch中梯度剪裁方法的原理和使用方法。 一、原理 注：为了防止混淆，本文对神经网络中的参数称为“网络参数”，其他程序相关参数成为“参数”。 pytorch中梯度剪裁方法为 torch.nn.utils.clip_grad_norm_(parameters
＜input＞:1: UserWarning: The .grad attribute of a Tensor that is not a leaf Tensor is being accessed.
爱在深秋
08-31 7433
在调试计算模型梯度的时候突然蹦出：:1: UserWarning: The .grad attribute of a Tensor that is not a leaf Tensor is being accessed.(持续更新，)
cuda_setup/main.py: UserWarning: /home/anaconda3/envs/qwen-7b did not contain [‘libcudart.so‘...解决方案
热门推荐
weixin_43178406的博客
08-09 5万+
 本文主要介绍了cuda_setup/main.py: UserWarning: /home/anaconda3/envs/qwen-7b did not contain [‘libcudart.so’…，希望能对学习大语言模型的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
深入浅出Pytorch函数——torch.nn.init.kaiming_normal_
冯·诺依曼
08-19 5382
torch.nn.init.kaiming_normal_(tensor, a=0, mode='fan_in', nonlinearity='leaky_relu')
神经网络权重初始化代码 init.kaiming_uniform_和kaiming_normal_
qq_41917697的博客
04-23 2万+
神经网络权重初始化--容易忽视的细节为什么要初始化初始化方法 为什么要初始化 权重初始化的目的是防止在深度神经网络的正向（前向）传播过程中层激活函数的输出损失梯度出现爆炸或消失。如果发生任何一种情况，损失梯度太大或太小，就无法有效地向后传播，并且即便可以向后传播，网络也需要花更长时间来达到收敛。 初始化方法 建议可以看看这个：《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classificatio
Kaiming_normal 正态分布
tangweirensheng的博客
10-08 3743
torch.nn.init.kaiming_normal_(tensor, a=0, mode= 'fan_in', nonlinearity='leaky_relu') 此为0均值的正态分布，N～ (0,std) std = sqrt(2/(1+a^2)*fan_in) a为激活函数的负半轴的斜率，relu是0 mode: 选择“fan_in”保留了forward传递中权重的方差大小。选择' 'fan_out' ' '保留了向后传递的幅度。 没理解 mode作用，先占个坑 nonlin...
Pytorch相似度的计算（二）
永远的小白虾的博客
06-08 2798
本文章中的相似度计算方法摘抄自：BiMPM 1 带权重的cosine相似度计算 这个方法与传统的cosine相似度计算方法不同之处就是为输入的两个向量增加了一个权重，可以通过训练权重来调节向量，获得更加精确的相似度。 import torch import torch.nn as nn class CosineSimilarityWithW(nn.Module): def __init__(self): super(CosineSimilarityWithW,self).__ini
pytorch.nn.init
qq_41289353的博客
01-23 4027
import math import warnings from torch import Tensor import torch # These no_grad_* functions are necessary as wrappers around the parts of these # functions that use `with torch.no_grad()`. The JIT doesn't support context # managers, so these need to .
Python报错：IndexError: invalid index of a 0-dim tensor. Use `tensor.item()` in
sweet_tea_的博客
08-08 1096
Python报错：IndexError: invalid index of a 0-dim tensor. Use `tensor.item()` in
Pytorch版本代码修正
小花生的博客
10-31 1万+
Pytorch版本代码修正 概述：老版本代码（0.3.0）修正为（0.4.0） 1.UserWarning: nn.init.xavier_uniform is now deprecated in favor of nn.init.xavier_uniform_.init.xavier_uniform(param) 注：init.xavier_uniform 改为 init.xavier_uni...
torch.nn.init(nn/init.py)
Richardfan的博客
10-12 3072
torch.nn.init(nn/init.py)该文件定义了一些参数（权重）初始化方法
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

irober

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值