【深度之眼cs231n第七期】笔记（二十）

循环神经网络介绍

• 原始神经网络是一对一的，也就是说只有一个输入（粉红色框），也只有一个输出（蓝色框）。比如输入一张图像，输出图像的类别；
• 循环神经网络有多种输入输出的组合：
  • 一对多：输入一张图片，输出一句话；
  • 多对一：输入一句话（多个词语），判断这句话的情感；
  • 多对多（输入和输出数量可以不同）：输入一句中文，输出一句英文（中英文的词语数量可以不同）；
  • 多对多（输入输出数量相同）：视频中的每一帧作为输入，输出每一帧的分类结果。
    

循环神经网络的基本结构：h_t是保存在绿色框内的状态，某一时刻的输入x_t和上一时刻的状态h_t-1经过一个函数f_W得到当前的状态h_t，权重W是函数f_W的参数。
注意：权重W和函数f_W在整个循环中是不变的。
原始的卷积神经网络公式如下：
状态h_t∈[-1,1]，通过状态h_t计算预测y_t。
多对多（输入输出个数相同）的计算图：

多对多（输入输出个数不相同）的计算图（先由多个输入得到一个状态h_t，然后通过这个h_t产生多个输出）：

例子

训练一个