对LSTM中每个batch都初始化隐含层的理解

最新推荐文章于 2022-12-16 08:15:00 发布
最新推荐文章于 2022-12-16 08:15:00 发布
阅读量4.7k 收藏 47
点赞数 21
分类专栏： 笔记 文章标签： 机器学习 深度学习 pytorch python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39518984/article/details/109548739
版权

不知道有没有人和我有一样疑惑

在LSTM相关的代码中，为什么每个batch都会将隐藏层重新初始化，

这样不会把以前训练出来的参数丢掉吗？？

比如

代码来自GitHub 

看了一些解释是h与c是状态，不是参数，每个batch中都需要初始化为0，LSTM 中的参数是W,b。

网络中训练的是参数，不是状态。

说真的。。。当时我没怎么看懂。。。

咨询了实验室的师兄后，我有了自己的理解

 

产生误解的主要原因是我对RNN和LSTM的结构理解不深入，我们通常看到RNN结构图基本都是这样的

 

 

说实话，这个图对我这种初学者并不友好

RNN实际上应该是这样的

举个例子，解释一下RNN是如何训练的

比如这里有一句话，而这句话，就是一个batch

sentence=“我爱我的国”

进行句字的分词后是：

我 爱 我的 国

可以表示为4个n维的词向量，这里n我用8表示

这里有四个时间步（time_steps），每个时间步分别喂入我 爱 我的 国 四个词向量

参考RNN和LSTM数据是如何喂入的

 

下一句话是另一个batch，比如 “我 要 漂亮 小姐姐”

在这两个batch之间，并没有啥逻辑关系，如果我们不重新初始化

在测试的时候，batch之间的顺序会去影响 测试的结果。。。

换句话说，如果不重新初始化，两个没有什么逻辑的batch之间，会被我们人为的加上逻辑，上一句的“国”，和下一句的“我”就被联系起来了

而对于下一句的batch而言应该是一个新的开始，所以当然要初始化h和c了

 

也许有小伙伴要问了，这样初始化，在做文本识别的时候，句与句之间的联系，不也被初始化掉了吗？

师兄给的解释是：“一般不会这么做，一般不考虑句与句之间的联系，如果必须要考虑，那么这一段落都是一个batch中的sampler，这两句话不会分到两个batch中”

 

在这里偷偷挂上我的大佬级师兄Kenn7，如果他的解释不对。。。请偷偷告诉我，让我去打脸，哈哈哈

 

今天就分享到这里，祝大家变得更强

Chauncey_Wang
关注
  • 21
    点赞
  • 踩
  • 47
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
关于神经网络中隐含层节点数的确定，很好用
09-17
关于神经网络中隐含层节点数的确定，很好用
深度学习：基于长短时记忆网络LSTM实现情感分析
最新发布
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
09-27 6385
文本情感分析（Sentiment Analysis）是自然语言处理（NLP）方法中常见的应用，也是一个有趣的基本任务，尤其是以提炼文本情绪内容为目的的分类。它是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。本文将介绍情感分析中的情感极性（倾向）分析。所谓情感极性分析，指的是对文本进行褒义、贬义、中性的判断。在大多应用场景下，只分为两类。例如对于“喜爱”和“厌恶”这两个词，就属于不同的情感倾向。本文将详细介绍如何使用深度学习模型中的LSTM模型来实现文本的情感分析。
灰狼算法优化LSTM超参数-神经元个数-dropout-batch-size
02-19
灰狼算法优化LSTM超参数-神经元个数-dropout-batch_size 博客：https://data-mining.blog.csdn.net/article/details/127819862 1、摘要 本文主要讲解：使用灰狼算法优化LSTM超参数-神经元个数-dropout-batch_size 主要思路： 灰狼算法 Parameters ： 迭代次数、狼的寻值范围、狼的数量 LSTM Parameters 神经网络第一层神经元个数、神经网络第二层神经元个数、dropout比率、batch_size 开始搜索：初始化所有狼的位置、迭代寻优、返回超出搜索空间边界的搜索代理、计算每个搜索代理的目标函数、更新 Alpha, Beta, and Delta 训练模型，使用灰狼算法找到的最好的全局最优参数 plt.show() 2、数据介绍 zgpa_train.csv DIANCHI.csv 3、相关技术 灰狼优化算法(GWO),灵感来自于灰狼.GWO算法模拟了自然界灰狼的领导层级和狩猎机制.四种类型的灰狼。此外，还实现了狩猎的三个主要步骤:寻找猎物、包围猎物和攻击猎物。
MindSpore【nn.LSTMCell】自定义网络如果设置batch_size，h和c参数如何初始化
weixin_45666880的博客
07-13 403
基于nn.Cell 自定义了一个LSTM网络，代码如下： 在GRAPH_MODE 下出错，原因是GRAPH_MODE 模式下不能生产Tensor类型数据。那么，h和c要在哪里创建呢。因为batch_size的问题，一轮迭代最后一批数据很难保证和预设的batchsize一致。所以h，c 动态创建是不可避免的。应该怎么做呢。解答： 参考实现：https://gitee.com/mindspore/mindspore/blob/master/mindspore/nn/layer/rnns.py#L361所
深度学习--LSTM（长短时记忆网络）原理详解
wenqiwenqi123的博客
06-19 1万+
上篇文章介绍了GRU，建议不太了解RNN和GRU的同学看看我上一篇文章：https://blog.csdn.net/wenqiwenqi123/article/details/80707810这篇来说一说LSTM，这两个最大的不同之处在于LSTM多了一个门。GRU有update gate（更新门）、reset gate（重置门）。而LSTM有三个门，update gate（更新门），forget ...
DeepLearning之LSTM模型输入参数：time_step, input_size, batch_size的理解
01-20
1. LSTM模型 输入参数理解 （Long Short-Term Memory） lstm是RNN模型的一种变种模式，增加了输入门，遗忘门，输出门。 LSTM也是在时间序列预测中的常用模型。 小白我也是从这个模型入门来开始机器学习的坑。 LSTM的基本概念与各个门的解释已经有博文写的非常详细：推荐博文:【译】理解LSTM（通俗易懂版） 这篇文章写的非常详细，生动，概念解释的非常清楚。我也是从这个博文里开始理解的。 2. 模型参数 模型的调参是模型训练中非常重要的一部分，调整参数前的重要一步就是要理解参数是什么意思，才能帮助更好的调整参数。 但是发现在一些实战模型将代码直接放在那里，但是基本
LSTM入门学习——本质上就是比RNN的隐藏层公式稍微复杂了一点点而已
djph26741的博客
10-23 492
LSTM入门学习 摘自：http://blog.csdn.net/hjimce/article/details/51234311 下面先给出LSTM的网络结构图： 看到网络结构图好像很复杂的样子，其实不然，LSTM的网络结构图无非是为了显示其高大上而已，这其实也是一个稍微比RNN难那么一丁点的算法。为了简单起见，下面我将直接先采用公式进行讲解LSTM，省得看见LSTM网络结构图...
LSTM 实际神经元隐含层物理架构原理解析
02-27 8487
最近看一些基于LSTM网络的NLP案例代码，其中涉及到一些input_size， num_hidden等变量的时候，可能容易搞混，首先是参照了知乎上的一个有关LSTM网络的回答https://www.zhihu.com/question/41949741， 以及github上对于LSTM比较清晰的推导公式http://arunmallya.github.io/writeups/nn/lstm/in...
基于Attention理论的LSTM 隐藏层权重自调节机制
南七小僧的学海无涯
11-29 3320
整体思路如下： 在两层LSTM结构中，或者是BiLSTM结构中，其实不同隐藏层的输出权重应该更有所选择才好，比如用于情感分析的一句话，我今天心情很好，上午去打球了，下午去打游戏了。如果我们采用传统的方法去训练LSTM再分类的话，会发现，这个分类结果可能是中性，当然这和训练集有关，如何减小这种误判断呢。我们就需要在Hidden的时候引入注意力机制，自动调节hidden，忽略对结果不重要的语素。即...
LSTM一种优雅的参数初始化方式
Data _designer
04-27 4621
class LstmRelu(nn.Module): @staticmethod def weight_init(m): if isinstance(m,nn.Linear): nn.init.xavier_normal_(m.weight) nn.init.constant_(m.bias,0) elif isinstance(m,nn.BatchNorm1d): nn.init.co.
LSTM层注释，东西全在帖子里
09-27
这个是我自用的caffe latm层注释备份，别下载，注释都在我的帖子里了，那个不要钱。不想用网盘了，试试这个功能。嘿嘿
多层LSTM,多层lstm与单层lstm区别,Python
09-10
使用的RNN中的LSTM进行对28个英文字母的简单文本预测
神经网络参数初始化对训练结果的影响分析
01-08
神经网络的参数主要是权重（weights）：W， 和偏置项（bias... 这个代码就是研究不同神经网络参数初始化对训练结果的影响分析。具体可以看这篇博客：https://blog.csdn.net/weixin_42521239/article/details/103887798
LSTM中timesteps的理解
07-04
这个文档有一个比较直观的关于时间步的理解，对于初学RNN网络的人来说，其中有些概念比较难懂，希望这个能帮助大家。
PyTorch 中 LSTM 的 output、h_n 和 c_n 之间的关系
sdnuwjw的博客
12-15 8362
LSTM 简介 官方文档：https://pytorch.org/docs/stable/generated/torch.nn.LSTM.html h_n：最后一个时间步的输出，即 h_n = output[:, -1, :]（一般可以直接输入到后续的全连接层，在 Keras 中通过设置参数 return_sequences=False 获得） c_n：最后一个时间步 LSTM cell 的状态（一般用不到） 实例 实例：根据红框可以直观看出，h_n 是最后一个时间步的输出，即是 h_n = ou
LSTM前向传播代码实现——LSTM从零实现系列(3)
AI量化交易实验室
12-16 2085
lstm前向传播代码实现
LSTM理论知识讲解
上帝是个娘们的博客
04-09 7826
结构 1. RNN与LSTM的对比 RNN: LSTM: 其中的notation： 这里要注意：上图中四个黄框，每一个都是普通的神经网络，激活函数就是框上面所标注的。 通过对比可以看出，RNN的一个cell中只有一个神经网络，而LSTM的一个cell中有4个神经网络，故一个LSTM cell的参数是一个RNN cell参数的四倍。 从上图也可以看出，原来的一个RNN cell只需要存储一个...
LSTM隐藏层规模（隐藏层节点数）
热门推荐
Barry-njr的博客
03-07 3万+
https://blog.csdn.net/ZJRN1027/article/details/80301039
LSTM 隐藏层维度和输入维度的问题
weixin_42856002的博客
08-11 1万+
报错如下：ValueError: Dimensions must be equal, but are 1024 and 1536 for 'lstm_1to15/lstm_cell/MatMul_1' (op: 'MatMul') with input shapes: [1,1024], [1536,2048]. 我要实现的是 第一个LSTM单元输入（1，1024），输出（1，512）. 第二个L...
LSTM隐含层中的数据流动过程
04-24
LSTM隐含层中的数据流动过程是通过一系列的逻辑门控制的。其中包括三个门：输入门、遗忘门和输出门。输入门控制着新的输入数据是否被加入到LSTM单元中，遗忘门控制着旧的状态数据是否保留下来，输出门则控制着LSTM单元的输出结果。这三个门都由一个sigmoid函数控制，该函数输出值为0到1之间的数值。当sigmoid函数的输出值接近0时，该门关闭；当输出值接近1时，该门打开。在每个时间步上，LSTM单元会更新其状态值，根据输入数据、上一时刻状态值和前一时刻的门状态。这样，真正的数据流动是通过门的开启和关闭来控制的，以保证LSTM单元状态的正确更新。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值