LSTM 的几种改进方案

本文详细介绍了LSTM的两种改进变体:Peephole connections和GRU。Peephole connections通过允许门控制器直接访问单元状态,增强了LSTM的表现。GRU则是LSTM的简化版本,结构更简洁,解决了梯度消失问题,参数数量较少,但效果接近LSTM。此外,还简要提到了用于改善LSTM预测的Beam Search策略。
摘要由CSDN通过智能技术生成

在前面我们很细致地介绍了基本 LSTM 的理论,其实学者们还提出了多种 LSTM 的变种,如 Coupled LSTM、Peephole LSTM、GRU 等等,今天就来看看其中两个比较流行的变体 Peephole connections 和 GRU,它们都可应对梯度消失问题,也都可用于构建深度神经网络,此外我们还会学习一个高效的搜索策略 Beam Search

首先来回顾一下 LSTM 的结构:

LSTM 有三个门控,还有一个长期状态 C。

数学表达为:

$ i_t = \sigma (W_i h_{t-1} + U_i x_{t} + b_i)$ $ o_t = \sigma (W_o h_{t-1} + U_o x_{t} + b_o)$ $ f_t = \sigma (W_f h_{t-1} + U_f x_{t} + b_f)$

$ \tilde{C}_t = \tanh (W_C h_{t-1} + U_C x_{t} + b_C)$ $ C_t = f_t \circ C_{t-1} + i_t \circ \tilde{C}_t $

$ h_t = o_t \circ \tanh{C_t}$

$ y_t = h_t$

其中:

  • f:forget,遗忘门,负责控制是否记忆过去的长期状态。
  • i:input,输入门,负责控制是否将当前时刻的内容写入长期状态。
  • o&#
  • 6
    点赞
  • 28
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值