双向循环神经网络原理

一:背景

在经典的循环神经网络中,状态的传输,是从前往后的,但是在有些任务中,某些时刻的输出不仅和 之前状态有关,也与之后的状态有关。这就需要双向循环神经网络(Bidirectional rnn)来解决这类问题。

二:结构

在这里插入图片描述

双向循环神经网络的主体结构是两个单向循环神经网络的结合。例如在某个时刻,输入会同时提供给这两个方向相反的循环神经网络,每个网络生成各自的在该时刻的状态和输出,双向循环神经网络的输出会是由两个单向网络输出的简单拼接。除方向不一样外,其余结构完全相同。两个网络结构对称,任意网络的任意循环体都可以选择任意循环结构,如rnn,lstm等等。。双向循环神经网络的前向传播过程和单向的循环神经网络十分类似,这里不再赘述。

三:模型推导:

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值