序列模型应用很广:语音识别,音乐生成,语句分类,DAN序列分析,机器翻译,视频活动识别,命名实体识别等等。 最初设计的模型是输入和输出是相同长度的,例子如下。其中Tx 表示的是输入的序列的长度,Ty表示输出的序列的长度,该模型叫做标准化模型。 那么现在就出现了两个明显的问题:1 输入输出不一定永远是相同长度的(当然这可以通过补0来实现);2.从文本上不同位置学习到的特征并不共享(这个问题比较严重),为此引入循环神经网络(RNN),如图2所示。