lstm输出输出和参数你懂了吗

10 篇文章 1 订阅

最近在做一个nlp的练习赛,把lstm重新彻底温习了一遍。把以前很多没搞懂的东西重新倒腾了一遍,收获真的很多,但是由于知识点较多,所以写一篇博客来记录。
本文绝多数图片及内容参考自:https://www.zhihu.com/question/41949741
但是本文不会讲一下很基础的东西,只会讲一些很扰人的东西。

1.lstm初探

相信你第一次学习lstm的时候,一定也是百度lstm,开始看博文,当你对遗忘门,输入门,输出门有所理解的时候,那么恭喜你,你已经入门了,但是入门的同时也是痛苦的开始。
不信的话,我问你几个问题:

2.LSTM 的 cell 里面的 num_units 该怎么理解

这个问题也困扰了我很久,后来终于明白了,很多资料都没有在这个地方做详细的解释,那就是 LSTM 的 cell 里面的 num_units 该怎么理解,其实也是很简单,看看下图:

在这里插入图片描述可以看到中间的 cell 里面有四个黄色小框,你如果理解了那个代表的含义一切就明白了,每一个小黄框代表一个前馈网络层,对,就是经典的神经网络的结构,num_units就是这个层的隐藏神经元个数,就这么简单。其中1、2、4的激活函数是 sigmoid,第三个的激活函数是 tanh。
另外几个需要注意的地方:

1、 cell 的状态是一个向量,是有多个值的。。。一开始没有理解这点的时候怎么都想不明白

2、 上一次的状态 h(t-1)是怎么和下一次的输入 x(t) 结合(concat)起来的,这也是很多资料没有明白讲的地方,也很简单,concat, 直白的说就是把二者直接拼起来,比如 x是28位的向量,h(t-1)是128位的,那么拼起来就是156位的向量,就是这么简单。。

3、 cell 的权重是共享的,这是什么意思呢?这是指这张图片上有三个绿色的大框,代表三个 cell 对吧,但是实际上,它只是代表了一个 cell 在不同时序时候的状态,所有的数据只会通过一个 cell,然后不断更新它的权重。

4、那么一层的 LSTM 的参数有多少个?根据第 3 点的说明,我们知道参数的数量是由 cell 的数量决定的,这里只有一个 cell,所以参数的数量就是这个 cell 里面用到的参数个数。假设 num_units 是128,输入是28位的,那么根据上面的第 2 点,可以得到,四个小黄框的参数一共有 (128+28)(1284),也就是156 * 512,可以看看 TensorFlow 的最简单的 LSTM 的案例,中间层的参数就是这样,不过还要加上输出的时候的激活函数的参数,假设是10个类的话,就是128*10的 W 参数和10个bias 参数5、cell 最上面的一条线的状态即 s(t) 代表了长时记忆,而下面的 h(t)则代表了工作记忆或短时记忆暂时这么多。

作者:lonlon ago
链接:https://www.zhihu.com/question/41949741/answer/309529532
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

3.推荐一篇博文,是讲LSTM中的参数个数是怎么计算的

from: zackhttps://www.zhihu.com/question/41949741

推荐一篇博文,是讲LSTM中的参数个数是怎么计算的
https://www.cnblogs.com/wushaogui/p/9176617.html
(博主注:很重要)
在这里插入图片描述

4 超清晰的lstm训练过程

在这里插入图片描述
在这里插入图片描述
说明:上面画红框的地方,如想输出如上的三维矩阵,需要指明参数:return_sequences=True
在这里插入图片描述
参考:https://blog.csdn.net/wjc1182511338/article/details/79689409

  • 84
    点赞
  • 357
    收藏
    觉得还不错? 一键收藏
  • 15
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 15
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值