【跟马少平老师学AI】-【神经网络是怎么实现的】（八）循环神经网络

一句话归纳：

1）词向量与句子向量的循环神经网络：

• x(i)为词向量。
• h(i)为含前i个词信息的向量。
• h(t)为句向量。

2）循环神经网络的局部。

• 每个子网络都是标准的全连接神经网络。

3）对句向量增加全连接层和激活函数。

• 每个子网络中的参数w、u、v都是一样的，相当于同一个神经网络。

4）不止最后一个子网络可以添加全连接层，每个子网络都可以添加全连接层。

5）用RNN做汉语词句子分词

• B：词首字，E：词属字， M ：词中字，S：单字词。
• 子网络中输出为4个神经元，分别为B、E、M、S的概率。

6）用RNN做看图说话：

• 将图像矩阵输入神经网络得到一个向量。
• “图像-内容描述”对为训练样本。

7）双向循环神经网络。

8）序列到序列的循环神经网络。

• 从序列到向量，再由向量到序列。
• 可用于机器翻译。