CS231n lecture10 简单笔记

前言：

个人感觉，后面几个章节相对知识性内容不是那么明显，更多像一种前沿领域的讲座lecture。并且没有lecture notes。所以有必要做一些笔记，用自己的语言记录，知识重组一下。

summary:

RNN是用来解决序列数据的神经网络，具有下面的几种类型。其中不同的类型有不同的实际应用。One to one 可以用于 image captioning 通过图片生成序列化的描述。Many to one 可以用于文本情感分析。Many to many 可以用于机器翻译。

基础的vanilla RNN模型：

这几种RNN结构的本质都是One to one 结构的堆叠。单个RNN结构具有一个hidden state结构h。h储存了之前所有结构的信息。对于一个input x 通过一个关于x,h的函数生成下一个hidden state。(这个函数通常是和矩阵W做乘法，之后用tanh激活函数)

以下面这个many to many的结构为例子。正向传播的时候通过上面的方式算出每一个隐藏层，然后用一个新的神经网络（什么cnn都行）算出y，通过和标签比对，损失函数（SVM Softmax啥的）算出单个y的损失，直接加和算出系统的损失