一、RNN问题引入
1.DNN、CNN 输入、输出定长,处理输入、输出变长问题效率不高,而自然语言处理中的语句通常其长度不固定。
2.单一DNN和CNN无法处理时序相关序列问题。
解决方法->使用RNN(循环神经网络)
RNN的核心思想:
将处理问题在时序上分解为一系列相同的“单元”,单元的神经网络可以在时序上展开,且能将上一时刻的结果传递给下一时刻,整个网络按时间轴展开。即可变长。
一个三位加法单元的例子:
二、RNN结构
下面图文分析的结构,输入、输出、参数、信息传播很清晰明了。
三、RNN训练
学习的一组参数
Θ
\Theta
Θ
参数学习方法:BPTT(Backpropagation through time)