循环神经网络RNN和递归神经网络RNN(LSTM)

  • RNN

解决的问题:一般的神经网络的输入维度都是确定的,但有时我们要处理变长的输入,解决方法是采用循环或递归的方法输入(recurrent/recursive neural network)。如输入本应是一段话,我们可以将这段话分成长度相同的词一个一个地依次输入。

RNN可以映射一对一、一对多和多对多

用于:预测。网络具有记忆功能。

  • 循环神经网络和递归神经网络区别

RNN,一般都叫做递归神经网络,前者是时间递归(常用),后者是结构递归。

结构都为:

循环神经网络(recurrent neural network)

具有短期记忆能力。信息往一个方向传。它做决定时,会考虑当前的输入和之前输入所学到的知识。如将单词“hello”作为输入训练,一般的神经网络在输入"h"之后再输入“e”时已经忘记之前输入的h了,但RNN是将e与输入h时学到的知识y一起作为下一次输入。对比:

通过BPTT误差反向传播训练:

       这里写图片描述

式子:

存在的问题:

(1):梯度爆炸(权重在算法中十分重要时)

(2):梯度消失(权重太小时且训练停止)

递归神经网络(recursive neural network)

结构递归。前面提到将一句话分成一个个次输入,但有时会产生歧义,如【两个外国语学院的学生】可以是两个外国语学院/的学

生或两个/外国语学院的学生。为了让模型能过区分这两种语义,我们得按照树的结构处理,而不是序列。

 

 


参考:https://zybuluo.com/hanbingtao/note/626300

https://blog.csdn.net/xiaoniu0991/article/details/75098260

https://blog.csdn.net/zhaojc1995/article/details/80572098#commentBox

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值