本文深入探讨RNN在网络中的应用，包括Vanilla RNN的工作原理、反向传播过程以及在Image Captioning等序列任务中的具体应用。RNN因其处理有序数据的能力，被用于从图像生成文本描述、视频动作预测到视频字幕生成等多个场景。尽管存在反向传播时的梯度消失和爆炸问题，但其在序列到序列任务中的潜力不容忽视。
RNN网络就是处理大小可变的有序数据的一类模型
1 Vanilla Neural Networks
2 Image Captioning image -> sequence of words
3 action prediction sequence of video frames -> action class
4 Video Captioning Sequence of video frames -> caption
5 Video classification on frame level
Vanilla RNN
RNN有一个隐藏态，在读入输入后更新并返回给模型自己，和下一个tIme step读入的数据输出新的隐藏态。这大概就是RNN中循环recurrent的含义
如果想让模型在每一个时间步产生输出，就用全连接层 根据每一步的隐藏态做出决策。注意，在每一时步用的是同一函数f和同一权重w。
many to many: 由于使用的是同一个节点，所以在反向传播过程中，每一时步计算出来的权重梯度会累加在w上。L是损失。在
最低0.47元/天 解锁文章
扫一扫
593
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
