Keras深度学习实战(27)——循环神经网络详解与实现
0. 前言
我们已经学习了多种将文本表示为向量的方法,并且学习了如何利用这些向量表示进行情感分类。但这种方法的缺点之一是没有考虑单词的顺序,例如,使用这类方法时,句子 A is faster than B
与句子 B is faster than A
具有相同的含义表示,因为这两个句子中的词完全相同,但由于它们的词序不同,实际上应具有不同的含义。在需要保留单词顺序的情况下,循环神经网络 (Recurrent neural networks
, RNN
) 将会派上用场。
1. 循环神经网络 (Recurrent Neural Network, RNN) 架构简介
1.1 传统文本处理方法的局限性
当我们要在给定事件序列的情况下预测下一个事件时,循环神经网络 (Recurrent Neural Network
, RNN
) 非常有用。一个简单的示例是,预测 This is an _____
横线上的单词。
传统的文本分析技术解决该问题的方式通常需要对每个单词进行编码,同时为潜在的新单词提供附加索引: