本文探讨了循环神经网络（RNN）的结构与参数更新方式，包括隐藏状态、输出状态的计算及梯度更新。同时，介绍了如何使用卷积神经网络（CNN）对序列数据建模，比较了CNN在处理序列数据时的并行计算和推理速度优势。
1. 循环神经网络的结构与参数更新方式：
循环神经网络可以将输入序列映射为同等长度的输出序列。
上图右端是对循环神经网络展开后的形式，我们讨论第 t t t时刻的隐藏状态 h ( t ) h^{(t)} h(t)、输出状态 o ( t ) o^{(t)} o(t)以及损失 L L L的计算方式。
其中隐藏状态由上一时刻的隐藏状态和输入状态决定：
h ( t ) = σ ( U x ( t ) + W h ( t − 1 ) + b ) (1) h^{(t)}=\sigma(Ux^{(t)}+Wh^{(t-1)}+b) \tag1 h(t)=σ(Ux(t)+Wh(t−1)+b)(1)
σ \sigma σ通常为tanh激活函数。
由隐藏状态可以得到输出状态：
o ( t ) = g ( V h ( t ) ) (2) o^{(t)}=g(Vh^{(t)}) \tag 2 o(t)=g(Vh(t))(2)
整个网络上的损失为每个时间 t t t输出对应的损失:
L = ∑ t L t = ∑ t Loss ( o ( t ) , y ( t ) ) (3) L=\sum_{t}L^t=\sum_{t}\textrm{Loss}(o^{(t)}, y^{(t)}) \tag 3 L=
最低0.47元/天 解锁文章
499
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
