1. 循环神经网络的结构与参数更新方式:
循环神经网络可以将输入序列映射为同等长度的输出序列。
上图右端是对循环神经网络展开后的形式,我们讨论第 t t t时刻的隐藏状态 h ( t ) h^{(t)} h(t)、输出状态 o ( t ) o^{(t)} o(t)以及损失 L L L的计算方式。
其中隐藏状态由上一时刻的隐藏状态和输入状态决定:
h ( t ) = σ ( U x ( t ) + W h ( t − 1 ) + b ) (1) h^{(t)}=\sigma(Ux^{(t)}+Wh^{(t-1)}+b) \tag1 h(t)=σ(Ux(t)+Wh(t−1)+b)(1)
σ \sigma σ通常为tanh激活函数。
由隐藏状态可以得到输出状态:
o ( t ) = g ( V h ( t ) ) (2) o^{(t)}=g(Vh^{(t)}) \tag 2 o(t)=g(Vh(t))(2)
整个网络上的损失为每个时间 t t t输出对应的损失:
L = ∑ t L t = ∑ t Loss ( o ( t ) , y ( t ) ) (3) L=\sum_{t}L^t=\sum_{t}\textrm{Loss}(o^{(t)}, y^{(t)}) \tag 3 L=