循环神经网络RNN
1. 循环神经网络RNN原理
工作过程
- 文本处理(训练)
- 一个神经元,不同时刻
- 每个时刻都有输出
表达式
1.正向传播
a(t)=b+Wh(t−1)+Ux(t)h(t)=tanh(a(t))o(t)=c+Vh(t)y^(t)=softmax(o(t))
其中,b 和c分别表示偏置向量,权重矩阵U、V 和W分别对应于输入到隐藏、隐藏到输出和隐藏到隐藏的连接 。
2.损失函数
Et(yt,y^t)=−ytlogy^tE(y,y^)=∑tEt(yt,y^t)=−∑tytlog