Pytorch报错：'UserWarning: RNN module weights are not part of single contiguous chunk of memory....'

最新推荐文章于 2024-06-09 11:01:50 发布
最新推荐文章于 2024-06-09 11:01:50 发布
阅读量9.1k 收藏 11
点赞数 8
分类专栏： Python 文章标签： python 深度学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/b15040915/article/details/106065033
版权

最近在跑代码的时候遇到了一个问题，代码里的网络有使用到RNN，错误信息如下：

‘UserWarning: RNN module weights are not part of single contiguous chunk of memory. This means they need to be compacted at every call, possibly greately increasing memory usage. To compact weights again call flatten_parameters()’

其实这个并不是一个错误，只是一个警告，只是在我epoch里打印每一个step的loss值的时候它都会显示一次。于是我仔细看了这个警告，其实就是说RNN的权值并不是单一连续的，这些权值在每一次RNN被调用的时候都会被压缩，会很大程度上增加显存消耗。
警告里也给出了解决办法，使用flatten_parameters()把权重存成连续的形式，可以提高内存利用率。
具体的使用方法就是在所使用的RNN模块的forward函数下加上

self.rnn.flatten_parameters()  #self.rnn是我所使用的RNN
呦呵嘿呀
关注
  • 8
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 9
    评论
专栏目录
UserWarning: RNN module weights are not part of single contiguous chunk of memory解决方案
月夜长影
11-10 8338
问题描述 PyTorch1.2中使用DataParallel的情况下，RNN报错了。部分报错信息如下： loss: 250.3600 ||: : 3it [00:08, 3.74s/it]/opt/conda/conda-bld/pytorch_1570910687230/work/aten/src/ATen/native/cudnn/RNN.cpp:1238: UserWarning: RNN...
PyTorch笔记
qq_22829061的博客
11-02 631
文章目录Debug1 RNN module weights are not part of single contiguous chunk of memory Debug 1 RNN module weights are not part of single contiguous chunk of memory 解决方法： （1）找到网络的forward方法： def forward(self,x) （2）找到forward方法中调用rnn（或lstm，或gru）的地方： rnn_output, _=se
Pytorch gru.flatten_parameters() lstm.flatten_parameters()
Decennie的博客
08-03 1244
UserWarning:RNN module weights are not part of single contiguous chunk of memory.
UserWarning:RNN module weights are not part of single contiguous chunk of memory.
旧城以西的博客
12-15 1507
问题 使用多GPU训练模型时会报出如下警告占满屏幕，导致无法查看模型训练状态： UserWarning:：RNN module weights are not part of single contiguous chunk of memory. This means they need to be compacted at every call, possibly greatly increasing memory usage. To compact weights again call flatten_p
UserWarning: RNN module weights are not part of single contiguous chunk of memory
sdaujz的博客
11-09 1011
def forward(...): ... self.lstm.flatten_parameters() h_lstm, _ = self.lstm( encoder_out )
UserWarning: RNN module weights are not part of single contiguous chunk of memory.
sunny0722的博客
06-21 969
最近几天的代码用到了gru，但是当代码使用DataParallel时，就会报下边的错。使用单GPU训练时就不存在下述警告。 查阅资料以后，发现作者https://blog.csdn.net/feifei3211/article/details/102998288的解决方法非常有效地解决了该警告。为了便于查阅，我还是将问题及问题的解决方法记录下来。解决方法如下： class en_GRU(nn.Module): def __init__(self, input_size, hidden_si
allennlp框架多gpu训练时`warning:UserWarning: RNN module weights are not part of single contiguous chunk of
nihao1621的博客
06-27 1268
问题1 allennlp框架多gpu训练时warning:UserWarning: RNN module weights are not part of single contiguous chunk of memory. This means they need to be compacted at every call, possibly greately increasing memory usage. To compact weights again call flatten_parameters(
研发中遇到的问题总结
吉良的博客
03-17 6068
Python、Pytorch、AI算法、Linux、Windows开发过程中遇到的一些问题及其解决方法 （自备的，以便后面遇到同样问题时查阅，如果对你没有帮助，请划走）
解决pytorch报错:AssertionError: Invalid device id的问题
01-21
在服务器上训练的网络放到本地台式机进行infer，结果出现报错： AssertionError: Invalid device id ...以上这篇解决pytorch报错:AssertionError: Invalid device id的问题就是小编分享给大家的全部内容了，
pytorch模型提示超出内存RuntimeError: CUDA out of memory.
01-20
跑模型时出现RuntimeError: CUDA out of memory.错误 查阅了许多相关内容，原因是：GPU显存内存不够 简单总结一下解决方法： 将batch_size改小。 取torch变量标量值时使用item()属性。 可以在测试阶段添加如下代码：...
pytorch报错：Process finished with exit code -1073741819 (0xC0000005)
12-21
网上各种解决方法，但是我都试了不可以，我实验发现如果不采用gpu环境的pytorch程序无报错，采用使用gpu的pytoch程序报错，采用gpu的tensroflow和keras不报错。这就让我很疑惑，为什么只有采用gpu的pytorch程序才会...
pro_gan_pytorch:ProGAN 包作为 PyTorch nn.Module 的扩展实现
05-30
pro_gan_pytorch 包包含 ProGAN 的实现。 论文题为“渐进式增长的 GAN 以提高质量、稳定性和变化”。 链接 -> 训练示例 -> :star: [新] 预训练模型： 请找下预训练模型saved_models/在目录 :star: [新]演示： 存储库...
pytorch-rnn.flatten_parameters作用
热门推荐
Welcome to BierOne's blog!
02-25 1万+
最近翻阅pytorch的代码，常常发现这样一句：rnn.flatten_parameters，但却不知道作用，遂作此文 rnn.flatten_parameters作用 Resets parameter data pointer so that they can use faster code paths 翻译一下，就是重置参数的数据指针。其实就是contiguous(连续性)的问题，在pyt...
PyTorch错误收集与解决方法
观自在的博客
05-28 9901
PyTorch错误收集与解决方法 文章目录PyTorch错误收集与解决方法RNN的初始状态在多GPU训练报错RuntimeError: module must have its parameters and buffers on device cuda:0 (device_ids[0]) but found one of them on device: cpuRNN module weights are not part of single contiguous chunk of memoryRuntime
The Unreasonable Effectiveness of Recurrent Neural Networks
omnispace的博客
02-09 2159
There’s something magical about Recurrent Neural Networks (RNNs). I still remember when I trained my first recurrent network for Image Captioning. Within a few dozen minutes of training my first bab
SeqGAN：用pytorch实现用于文本生成的对抗神经网络
yuuyuhaksho的博客
02-17 1万+
GAN简介 生成对抗网络 Generative Adversarial Networks (GAN)的概念来自于2014年Ian Goodfellow et.al. 的论文。 GAN属于无监督学习，由两个神经网络组成。生成器（generator）从潜在空间中随机获取样本，并与真实数据一起作为判别器（discriminator）的输入。判别器是一个经典分类器，作用是把真实数据和生成数据尽量分开。判别...
深度学习与NLP简单应用
无关风月
12-02 3057
Intro 问题原型：Text —> Label 行业 Baseline：⽤用 BoW 表示 sentences，然后⽤用 LR 或者 SVM 做回归。(Fan et al. 2008) 中英文区别： 英文直接使用空格分词，中文需要专门的方法进行分词： Deep learning is a branch of machine learning based on a set of...
深度学习实战 (7) 解决pytorch多GPU训练gru时的hx is not contiguous报错
icestorm_rain的博客
12-20 1688
解决pytorch多GPU训练gru时的hx is not contiguous报错和UserWarning: RNN module weights are not part of signle contiguous chunk of memory
每日一题——Python实现PAT乙级1042 字符统计（举一反三+思想解读+逐步优化）
最新发布
weixin_44915521的博客
06-09 977
这些编程思想和哲学理念在编写高效、健壮的代码时至关重要。通过理解和应用这些原则，我们不仅能够写出性能更好的代码，还能在不同情况下做出更加明智的设计决策。通过理解和应用这些哲学和编程思想，可以在不同场景中灵活运用，写出更加高效、健壮和灵活的代码。评估需求：根据实际需求选择最合适的数据结构和算法。避免冗余：尽量避免不必要的重复计算和操作。权衡利弊：在空间和时间之间找到最佳平衡点。灵活应变：根据输入数据的特性，灵活使用动态数据结构和提前决策策略。
pytorch运行报错：AttributeError: module 'gym.wrappers' has no attribute 'Monitor'
04-06
这个错误通常是因为您正在使用的gym版本不兼容。您可以尝试升级gym到最新版本，或者尝试使用较旧的版本。您可以使用以下命令安装较旧的gym版本： ``` pip install gym==0.17.3 ``` 如果升级或降级gym版本无法解决问题，您可以考虑使用其他的监视器，例如TensorBoard等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值