Sequence Models

序列模型

• 如下图，常见的几个序列模型的应用：1、语音识别 2、音乐生产 3、文本情感分类 4、DNA序列分析 5、机器翻译 6、视频运动识别 7、命名实体识别。
  

• 下图是该博客使用的符号说明：
  x代表输入序列，y代表输出序列 ，用右上角尖括号$x^{<t>}$代表x的第t个位置的数据，$T_x$代表输入x的序列长度，相应的$T_y$代表输出序列的长度。下列$T_x=T_y$但很多时候，两者可以不相等。另外圆括号，仍然表示第i个样本。
  

• 解决序列问题的模型 -RNN
  那么问题来了，在解释什么是RNN之前，先思考，为什么不用传统的标准神经网络来处理，下图给出答案：
  原因有两个，1、如果把序列的每个位置数据作为input X的一个feature,首先，不同的样本输入、输出的长度可能是不同的，而标准的神经网络结构，显然输入层、输出层神经元的个数是固定的。
  2、最主要的问题在于，一段文本序列在不同的位置无法共享features。比如一段话中出现了两个相同的词，其中先出现的位置，该词已经识别出，但它无法告诉model后面位置的词该信息。
  

• 以下是RNN结构的展开形式
  序列x，以从左右到右的顺序，依次将$x^{<t>}$输入RNN，其中最有趣的结构就是hidden state,下图用$a^{<t>}$来表示，每次输出时，除了要看当前时序的输入$x^{<t>}$还要看之前的信息$a^{<t-1>}$，具体的公式如下：
  

• 下面是几种常见的RNN结构类型

• 

• one to many 属于序列生产，只需要一个输入，便可输出多个y

• many to one典型的应用是文本情感分类，比如电影评论分析。只在整个句子输入完后，才会输出一个y。

• many to many 第一个是输入和输出长度相同的情况，在每个输入都会产生一个输出。

• many to many 第二个输入和输出长度不相同，就是sequence·to sequence Model，左边是encoder 右边是decoder,典型的应用是机器翻译，输入一段中文，翻译成英文。