LSTM和GRU的对比和分析

LSTM和GRU在捕捉长期依赖性方面表现出色,GRU参数较少,易于收敛,而LSTM在大量数据下可能表现更优。GRU有reset和update门,LSTM则有forget、input和output门。LSTM通过output gate控制信息传递,GRU直接传递。两者均通过加法操作避免梯度消失,改善RNN效果。
摘要由CSDN通过智能技术生成

先给出一些结论:

GRU和LSTM的性能在很多任务上不分伯仲。
GRU 参数更少因此更容易收敛,但是数据集很大的情况下,LSTM表达性能更好。
从结构上来说,GRU只有两个门(update和reset),LSTM有三个门(forget,input,output),GRU直接将hidden state 传给下一个单元,而LSTM则用memory cell 把hidden state 包装起来。

  1. 基本结构
    1.1 GRU
    在这里插入图片描述

GRU的设计是为了更好的捕捉long-term dependencies。我们先来看看输入ht−1ht−1和x(t)x(t), GRU怎么通过计算输出h(t)h(t):
在这里插入图片描述

Reset gate

r(t)r(t) 负责决定h(t−1)h(t−1) 对new memory h(t)h(t) 的重要性有多大, 如果r(t)r(t) 约等于0 的话,h(t−1)h(t−1) 就不会传递给new memory h(t)h(t)

new memory

h(t)h(t) 是对新的输入x(t)x(t) 和上一时刻的hidden state h(t−1)h(t−1) 的总结。计算总结出的新的向量h(t)h(t) 包含上文信息和新的输入x(t)x(t).<

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值