rnn训练随机问题

最新推荐文章于 2022-08-30 15:24:24 发布
最新推荐文章于 2022-08-30 15:24:24 发布
阅读量504 收藏 1
点赞数
分类专栏： deep learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ningyanggege/article/details/81204755
版权

问题来源：每次训练的结果都会有差别；每次训练调用ai_lstm_prob.py文档

解决方案1：

multi_layer_cell=tf.nn.rnn_cell.DropoutWrapper(multi_layer_cell,output_keep_prob=keep_prob,seed=1234)
训练结果仍然不同

解决方案2：

在训练文档(ai_lstm_prob.py)的开头处中加入
from numpy.random import seed
seed(1)
from tensorflow import set_random_seed
set_random_seed(2)
训练结果仍然不同；

结论：还存在其他的随机源，比如说GPU训练产生的随机性，如下解释：

使用GPU产生的随机性

以上所有示例都假设代码是在一个CPU上运行的。

这种情况也是有可能的，就是当使用GPU训练模型时，可能后端设置的是使用一套复杂的GPU库，这些库中有些可能会引入他们自己的随机源，你可能会或者不会考虑到这个。

例如，有证据显示如果你在堆栈中使用了 Nvidia cuDNN，这可能引入额外的随机源（ introduce additional sources of randomness），并且使结果不能准确再现

 


 

Takoony
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
训练RNN
Major_S的博客
04-08 361
训练RNN
关于相同数据在RNN cell 和 RNN上运行结果不一致的分析
纸上得来终觉浅，绝知此事要躬行！
03-03 295
文章目录关于相同数据在RNN cell 和 RNN上运行结果不一致的分析代码运行结果问题描述分析 关于相同数据在RNN cell 和 RNN上运行结果不一致的分析 代码 import torch import torch.nn as nn import torch.nn.functional as F input_size = 2 # input_size means the lengths of one-hot encode vector, for example, the code [... 128
通俗易懂的RNN
qq_39439006的博客
11-26 7万+
RNN，LSTM，GRURNN循环核介绍：参数时间共享，循环层提取时间信息。功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 RNN RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。首先我
RNN循环神经网络原理、变种的学习及进行情感预测与长短期记忆神经网络LSTM
forthenight996的博客
08-30 761
RNN循环神经网络原理、变种的学习及进行情感预测与长短期记忆神经网络LSTM
深度学习之RNN(循环神经网络)
热门推荐
笨拙的石头的博客
05-28 24万+
一 RNN概述     前面我们叙述了BP算法, CNN算法, 那么为什么还会有RNN呢?? 什么是RNN, 它到底有什么不同之处? RNN的主要应用领域有哪些呢?这些都是要讨论的问题.     1) BP算法,CNN之后, 为什么还有RNN?     细想BP算法,CNN(卷积神经网络)我们会发现, 他们的输出都是只考虑前一个输入的影响而不考虑其它时刻输入的影响, 比如简单的猫,狗,手写数...
RNN训练数据_文本分类数据集
03-15
总的来说，这个"RNN训练数据_文本分类数据集"提供了一个全面的学习环境，涵盖了从数据准备到模型训练、评估的全过程。通过实践这个项目，不仅可以深入理解RNN和LSTM的工作原理，还能掌握文本分类的实战技巧，对提升...
RNN test1_RNN练习_
09-28
6. 循环稳定性问题：由于RNN可能存在梯度消失或梯度爆炸问题，实践中可能需要应用如梯度裁剪、初始化技巧（如重置门控）等技术来改善模型的长期依赖学习。 7. 序列模型的变体：除了标准RNN，可能还探索了LSTM（长...
RNN实现的matlab代码
10-16
在训练循环中，我们首先生成了一个简单的加法问题，例如a+b=c。然后，我们将其转换为二进制编码，并将其作为输入数据。我们使用RNN模型来预测输出结果，并计算误差。最后，我们使用误差来更新模型参数。 RNN模型...
5-RNN-06_剧本生成项目
01-20
- 训练RNN模型通常包括定义损失函数（如交叉熵）、优化器（如Adam）以及训练循环，在训练循环中，模型会逐步学习数据集中的模式。 9. **评估与生成**： - 训练完成后，模型将根据学习到的模式生成新的剧本台词。...
RNN
03-18
为了加速训练，可以采用批量梯度下降的变体，如小批量梯度下降或随机梯度下降。 在实际应用中，RNN的性能往往受到计算资源的限制，尤其是对于深度和宽度较大的网络。因此，模型优化和硬件加速技术，如GPU并行计算，...
tensorflow保持每次训练结果一致的简单实现
09-17
今天小编就为大家分享一篇tensorflow保持每次训练结果一致的实现，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
自然语言处理NLP（5）——序列标注b：条件随机场（CRF）、RNN+CRF
echoKangYL的博客
02-21 4306
在上一部分中，我们了解了序列标注问题以及解决该种问题的一种方法——隐马尔科夫模型HMM：自然语言处理NLP（4）——序列标注a：隐马尔科夫模型（HMM） 在这一部分中，我们将要介绍解决序列标注问题的另外两种方法：条件随机场（CRF），以及RNN+CRF。 【一】最大熵模型 在介绍条件随机场（CRF）之前，首先了解一下什么是最大熵模型。 ...
用深度学习每次得到的结果都不一样，怎么办？（Python）
java、c++、机器学习方向King
06-21 2万+
https://www.leiphone.com/news/201706/zt4Dm491Ol58C8Mc.html?utm_source=tuicool&utm_medium=referral 神经网络算法利用了随机性，比如初始化随机权重，因此用同样的数据训练同一个网络会得到不同的结果。 初学者可能会有些懵圈，因为算法表现得不太稳定。但实际上它们就是这么设计的。随机初始化可以让网
lecture7-序列模型及递归神经网络RNN
weixin_33697898的博客
11-15 746
Hinton 第七课 。这里先说下RNN有recurrent neural network 和 recursive neural network两种，是不一样的，前者指的是一种人工神经网络，后者指的是一种深度神经网络这里指的是前者，这部分翻译的不好，因为之前没怎么接触过RNN，不过就当理解意境吧，所以附上所有的ｐｐｔ，看得懂的就看PPt,下面的是附带说明，有些语句没有那么通顺，所以就当意境...
神经网络训练结果不稳定,神经网络越训练越慢
aifans_bert的博客
08-07 1476
所谓感受野，即一个像素对应回原图的区域大小，假如没有pooling，一个3*3，步长为1的卷积，那么输出的一个像素的感受野就是3*3的区域，再加一个stride=1的3*3卷积，则感受野为5*5。例如，卷积层输出的特征图中两个相连的点的特征通常会很相似，假设a[0,0]，a[0,1]，a[1,0]，a[1,1]都表示颜色特征是红色，没有必要都保留作下一层的输入。你目前的情况，意味着模型对实际情况预测的准确率本来就只有这么多，样本量小的时候给出的预测准确率并不是最接近真实的准确率。...
神经网络训练不稳定问题（loss和accuracy波动大）的一种原因及解决方案
jasminefeng的博客
01-30 2万+
用LSTM做时间序列预测时发现训练刚开始时loss（MSE）下降很快，accuracy（调整R方）上升也很快，但到后面loss总体上下降变慢，并且时有波动，accuracy甚至会经常出现负值，然后又回弹至正值。经查阅资料和反复调试，发现是batch size太小的问题，原来的batch size是2，现在改成4 batch size为2时loss的变化如下 batch size 为4时loss的变化如下，虽然也有波动，比如在910epoch左右loss冲到了0.06，但总体上比batch size稳定
【时间序列】DeepAR: 自回归RNN预测时序概率分布
AI蜗牛车
01-24 3666
本篇介绍一种使用自回归RNN预测时序分布的模型DeepAR，它有效解决了多时序间尺度不一致问题，并基于数据特征选择似然函数预测时序概率分布。推荐阅读：5星。不足之处，还望批评指正。论文：2...
RNN(循环神经网络)
m0_63167598的博客
03-20 7256
1.全连接神经网络的局限性 全连接神经网络虽然可以对一个事物进行预测，但是前一条数据的输入和后一条数据的输入是完全独立的，这就使得面对一些具有序列信息的数据无法处理。 比如，我们说一句话，每个字在这句话中都扮演着不同的角色，你不可能单个拉出来理解。 2.RNN的主要形式： 在这个图中：x代表当前状态下的输入，y代表当前状态下的输出。 h 代表接收到的上一个节点的输入，h'代表下一个节点的输入 我们可以看到y的值取绝与h'，x。 这是一个单元，我们把它序列化就可以获得如下形式：
pytorch实现rnn训练的代码样例
最新发布
06-12
下面是一个使用PyTorch实现RNN训练的代码样例，包括数据处理、模型定义、训练和测试四个部分： ```python import torch import torch.nn as nn import numpy as np # 数据处理部分 input_size = 1 output_size = 1 sequence_length = 10 data_size = 1000 inputs = np.random.randn(data_size, sequence_length, input_size) targets = np.random.randn(data_size, output_size) inputs = torch.from_numpy(inputs).float() targets = torch.from_numpy(targets).float() # 模型定义部分 class RNN(nn.Module): def __init__(self, input_size, hidden_size, output_size): super(RNN, self).__init__() self.hidden_size = hidden_size self.rnn = nn.RNN(input_size, hidden_size, batch_first=True) self.linear = nn.Linear(hidden_size, output_size) def forward(self, x): h0 = torch.zeros(1, x.size(0), self.hidden_size) out, hn = self.rnn(x, h0) out = self.linear(out[:, -1, :]) return out # 训练部分 num_epochs = 100 learning_rate = 0.01 model = RNN(input_size, hidden_size=16, output_size=output_size) criterion = nn.MSELoss() optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate) for epoch in range(num_epochs): outputs = model(inputs) loss = criterion(outputs, targets) optimizer.zero_grad() loss.backward() optimizer.step() if (epoch+1) % 10 == 0: print("Epoch [{}/{}], Loss: {:.4f}".format(epoch+1, num_epochs, loss.item())) # 测试部分 with torch.no_grad(): inputs_test = np.random.randn(1, sequence_length, input_size) inputs_test = torch.from_numpy(inputs_test).float() outputs_test = model(inputs_test) print("Input: {}".format(inputs_test)) print("Output: {}".format(outputs_test)) ``` 这个代码样例实现了一个RNN模型，用于预测一个长度为10的时间序列的最后一个值。在训练部分中，使用MSE（Mean Squared Error）作为损失函数，使用Adam优化算法进行参数更新。在测试部分中，随机生成一个长度为10的时间序列的输入数据，将其输入到训练好的模型中，得到模型的输出结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值