NLP轻松入门—RNN

Simple RNNs 原理介绍 

比如输入一段话“11月2日到达北京从深圳来”,我们希望将“北京”设为目的地,“深圳”设为出发地,我们需要则个网络有记忆和联想功能。

前向运算

输入数据需要能否表达成一个时间序列,必须有一个关于序列的输入,每个输入送到layer中会得到一个状态值和一个输出值,且将当前的结果往后传递在下一个节点上进行运算,经过多层网络计算(layer+1.....n),公式如下:

反向运算

拿到损失后逐层传递,采用链式法则进行梯度求解;仅适合短序列学习,否则容易出现梯度消失和梯度爆炸的情况;

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值