序列数据和文本的深度学习

序列数据和文本的深度学习

• 用于构建深度学习模型的不同文本数据表示法：
• 理解递归神经网络及其不同实现，例如长短期记忆网络（LSTM）和门控循环单元（Gated Recurrent Unit，GRU），它们为大多数深度学习模型提供文本和序列化数据；
• 为序列化数据使用一维卷积。

可以使用RNN构建的一些应用程序如下所示。

• 文档分类器：识别推文或评论的情感，对新闻文章进行分类。
• 序列到序列的学习：例如语言翻译，将英语转换成法语等任务。
• 时间序列预测：根据前几天商店销售的详细信息，预测商店未来的销售情况。

1　使用文本数据

文本是常用的序列化数据类型之一。文本数据可以看作是一个字符序列或词的序列。对大多数问题，我们都将文本看作词序列。深度学习序列模型（如RNN及其变体）能够从文本数据中学习重要的模式。这些模式可以解决类似以下领域中的问题：

• 自然语言理解；
• 文献分类；
• 情感分类。

这些序列模型还可以作为各种系统的重要构建块，例如问答（Question and Answering，QA）系统。

虽然这些模型在构建这些应用时非常有用，但由于语言固有的复杂性，模型并不能真正理解人类的语言。这些序列模型能够成功地找到可执行不同任务的有用模式。将深度学习应用于文本是一个快速发展的领域，每月都会有许多新技术出现。我们将会介绍为大多数现代深度学习应用提供支持的基本组件。

与其他机器学习模型一样，深度学习模型并不能理解文本，因此需要将文本转换为数值的表示形式。将文本转换为数值表示形式的过程称为向量化过程，可以用不同的方式来完成，概括如下：

• 将文本转换为词并将每个词表示为向量；
• 将文本转换为字符并将每个字符表示为向量；
• 创建词的n-gram并将其表示为向量。

文本数据可以分解成上述的这些表示。每个较小的文本单元称为token，将文本分解成token的过程称为分词（tokenization）。在Python中有很多强大的库可以用来进行分词。一旦将文本数据转换为token序列，那么就需要将每个token映射到向量。one-hot（独热）编码和