lstm中look_back的大小选择_LSTM 扫盲:长短期记忆网络解读及其 PyTorch 应用实现

本文深入浅出地介绍了LSTM的工作原理,包括遗忘门、输入门和输出门的作用,并提供了基础模型的PyTorch实现,帮助读者理解LSTM如何处理长期依赖问题。
摘要由CSDN通过智能技术生成

48f61edcfe3c9c3e8f4448a5af3f4bae.png

和普通 RNN 相比,LSTM 可以通过所谓“门”的结构控制主线细胞状态中。colah[1]讲解十分全面,但是对于扫盲贴来说,大佬写的有些难,我要做的内容是把这些再品,再细品,然后聊一下我的看法,欢迎各位一起讨论。

和普通 RNN 不同之处就在于,LSTM 多了门控。门控的作用就在于处理遗忘哪些信息和记忆哪些信息。最关键的地方在于cell的状态和下图中最上面这条黑色粗线。分别是:

27f297b81a203f0fb30d7e8f2c7e6e76.png
图中标红线就是我说的主线
  • 遗忘门,控制旧知识融入主线 cell,即控制哪些旧知识可以进入主线,哪些不能进入主线
  • 输入门,控制新知识进入主线,即控制哪些新知识可以进入主线,哪些不能进入主线。
  • 输出门,控制输出。即控制输出什么信息。

遗忘门:有选择的忘记信息

遗忘门,控制机旧知识融入主线,也就是决定让哪些信息继续通过这个 cell&

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值