本文深入介绍了RNN（循环神经网络）和LSTM（长短期记忆网络）的工作原理，包括RNN的计算图、反向传播特点以及梯度消失问题。接着讲解了LSTM如何解决长距离依赖问题。最后，文章讨论了RNN在Image Caption任务中的应用，涉及词嵌入、训练与测试策略。
文章目录
RNN(Recurrent Neural Networks)
上图是RNN的计算图，输入为一定长度的时间序列X及隐藏层的初始态 h 0 h_0 h0，每一时刻的隐藏层都是由上一时刻的隐藏层 h t − 1 h_{t-1} ht−1及当前的输入层X计算得到： h t = tanh ( W x h ⋅ x t + W h h ⋅ h t − 1 + b ) h _ t = \operatorname { tanh } \left( W _ { xh } \cdot x _t + W _ { hh } \cdot h _{t - 1 }+ b \right) ht=tanh(Wxh⋅xt+Whh⋅ht−1+b)。输出则由当前时刻的隐藏层计算得到： y t = W h y h t y _ { t } = W _ { h y } h _ { t } yt=Whyht
最低0.47元/天 解锁文章
1652
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
