LSTM-小记

1、循环神经网络(Recurrent Neural Network,RNN)是一种用于处理序列数据的神经网络。相比一般的神经网络来说,他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义,RNN就能够很好地解决这类问题。但如果一个句子过长,RNN就会忘记自己一开始说了什么。
2、长短时记忆网络(Long Short-Term Memory,LSTM)是RNN的一种扩展,是为了解决一般的RNN存在的长期依赖问题而专门设计出来的。
通俗的讲,LSTM能够记住重要的信息,丢掉不重要的信息,从而引入了”门“这种机制,门是用来决定信息如何保留的开关,有忘记门,输入门,输出门。忘记门决定了要保留哪些原有的信息(丢掉不重要的记忆),输入门决定了当前信息中有多少要被保存(记住哪些新东西),输出门决定了哪些会被输出。门的数值是在0到1之间,0表示完全舍弃,1表示完全保留。
3、GRU(gated recurrent units)与LSTM非常相似,只有两个门,一个重置门和一个更新门。更新门相当是忘记门和输入门的结合体,决定丢弃哪些旧信息,添加哪些新信息,重置门决定写入多少上一时刻的网络状态,用来捕捉短期记忆。GRU相比较LSTM来说结构更简洁,计算更高效,效果与LSTM不相上下。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值