长短期记忆网络(LSTM)

1. 概要

提示:概要

  1. 长期以来,隐变量模型存在着长期信息保存和短期输入缺失的问题。解决这一问题的最早方法之一是长短期存储器。
  2. 长短期记忆网络的设计灵感来自于计算机的逻辑门。
1. 结构

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2. 候选记忆单元

在这里插入图片描述
在这里插入图片描述

3. 记忆单元

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4. 阴状态

在这里插入图片描述
在这里插入图片描述

小结

  1. • 长短期记忆网络有三种类型的门:输入门、遗忘门和输出门。
  2. • 长短期记忆网络的隐藏层输出包括“隐状态”和“记忆元”。只有隐状态会传递到输出层,而记忆元完全属于内部信息。
  3. • 长短期记忆网络可以缓解梯度消失和梯度爆炸。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值