NLP论文 -《Distributed Representations of Sentences and Documents》-句子和文档的分布式表示学习

最新推荐文章于 2022-07-11 08:57:53 发布

然后就去远行吧

最新推荐文章于 2022-07-11 08:57:53 发布

阅读量1.2k

点赞数 3

分类专栏： nlp论文学习

本文链接：https://blog.csdn.net/qq_37388085/article/details/103084831

版权

nlp论文学习专栏收录该内容

14 篇文章 6 订阅

订阅专栏

Distributed Representations of Sentences and Documents（句子和文档的分布式表示学习）

作者：Quoc Le and Tomas Mikolov
单位：Google
发布会议及时间：ICML 2014

第一课时：论文导读

1、句子分布式表示简介

句子分布式表示：句子的分布式表示就是将一个话或者一段话（这里将句子和文档同等看待，文档相当于较长的句子）用固定长度的向量表示。
意义：如果能够用一个向量精准地表示一句话，那么可以直接用这个向量用于文本分类、信息检索、机器翻译等等各个领域。

比如下图中的这句话"The dog is running on the grass"，把这句话表示成一个300维的向量，这个向量包含了这个句子的一些信息，可以用这个向量来做一些任务。字符的向量表示为char embedding，词的向量表示为word embedding，句子的向量表示叫sentence embedding。得到句子的分布式表示之后可以将这个向量用于文本分类、信息检索、机器翻译等。如果能将一个句子准确地表示成向量，那就可以用这个向量来做各种任务。
在这里插入图片描述

1.1 句子分布式表示方法——两类句子分布式表示模型

1.1.1 基于统计的句子分布式表示

（1）Bag-of-words（是一类方法的总称）

算法：

构建一个词表，词表中每个元素都是一个词；
对于一句话s，统计词表中每个词在s中出现的次数；
根据词表中每个词在s中出现的次数，构造一个词表大小的向量；

如果看过一些书籍，应该不会对这个词感到陌生，这个词就是词袋模型。词袋模型把所有的词直接放进一个袋子中，词的词序信息被丢弃了，只知道这句话有哪些词而不知道词的顺序，这就是词袋模型。

下图展示了一个比较简单的词袋模型，比如说构建一个词表，词表中的每个元素都是一个词，对于一个话s，统计词表中每个词在s中出现的次数，根据出现的次数构造一个词向量，向量中每一个词代表向量中每一个元素对应的词在句子s中出现的次数。
在这里插入图片描述
如图中表示"The dog is running on the grass"，假设数据集只有这一句话，根据这一句话来构造词典，词典中有"the"，“dog”，“is”，“running”，“on”，“grass”。统计每个词出现的次数，最后形成的向量就是[2,1,1,1,1,1]。在真实场景中，语料肯定是特别大的，所以统计的词特别多。如果将所有在语料中出现的词全部统计，得到的词表会非常大的，可能会达到几十万甚至上百万，这取决于语料大小。如果词表特别大，对于之后的处理会造成不好的影响，我们不需要那么大的词表。而且词表中大部分词都不会出现，根据“二八定律”，相当于80%篇幅的语料，可能只用了20%的词。所以只需要统计出最常出现的词就可以了，所以一般在大的语料上构建词典的时候，首先需要统计所有词和每个词出现的频率，然后取出现频率最高的一部分词。如果词表取一万、三万等，就统计出现频率最高的前三万个词，然后将这三万个词设置成词典。然后统计每个句子中词出现的次数，得到一个三万维是向量。这个向量是稀疏的，而且会特别长。对于这个问题，可以使用降维操作将该向量降维为一个更小的向量，这时候这个向量就可以用来表示句子s。

对于Bag-of-n-gram，词表中的元素可以为词也可以为n-gram短语。

（2）Bag-of-n-grams

n-grams是从一个句子中提取的N个（或更少）连续单词的集合。这一概念中的“单词”也可以替换为“字符”。

举一个简单的例子，考虑句子"The cat sat on the mat"，这句话可以被分解为以下二元语法（2-grams）的集合。

{“The”,“The cat”,“cat”,“cat sat”,“sat”,“sat on”,“on”,“on the”,“the”,“the mat”,“mat”}

这样的集合叫做二元语法袋（bag-of-2-grams），这里袋这一术语指的是，处理的是标记组成的集合，而不是一个列表或者序列，即标记没有特定的顺序，这一系类分词方法叫做词袋（bag-of-words）。

词袋是一种不保存顺序的分词方法（生成的标记组成一个集合，而不是一个序列，舍弃了句子的总体结构），因此它往往被用于浅层的语言处理模型，而不是深度学习模型。

提取n-gram是一种特征工程，深度学习不需要这种死板而又不稳定的方法，并将其替换为分层特征学习。需要记住，在使用轻量级的浅层文本处理模型时（比如逻辑回归和随机森林），n-grams是一种功能强大、不可或缺的特征工程工具。

Bag-of-words模型缺点：

因为是词袋模型，所以丢失了词之前的位置信息；
句向量只是单纯地利用了统计信息，而没有得到语义信息，或者只得到很少的语义信息。

Bag-of-n-grams模型缺点：

因为使用了n-gram，所以保留了位置信息，但是n-gram不会太大，最多是4-gram，所以只保留很少的位置信息。
N-gram同样没有学习到语义信息。

1.1.2 基于深度学习的句子分布式表示

（1）加权平均法

算法：

构建词表，词表中每个元素都是词；
使用词向量学习方法（skip-gram等）学习每个词的词向量表示；
对句子s中的每个词（ $w_1,w_2,...,w_n$ ）对应的词向量（ $e_1,e_2,...,e_n$ ）加权平均，结果为句子s的分布式表示： $e_s=\frac{1}{n}\sum_{i=1}^ne_i$

缺点：对所有的词向量进行平均，丢失了词之前的顺序信息以及词与词之间的关系信息。

（2）深度学习模型

算法：

构建词表，词表中每个元素都是词；
使用词向量表示方法（skip-gram等）学习每个词的词向量表示；
将句子s中的每个向量作为输入送到深度神经网络模型（CNN or RNN），然后通过监督学习，学习每个句子的分布式表示。

举个例子，如下图所示。现在有一个句子"I miss you !"，根据词向量表示方法学习每个词的词向量表示，然后放进深度学习模型中进行参数调整，通过有监督学习获得文档的词向量表示方法，最后用于具体任务。

缺点：只能使用标注数据训练每个句子的句向量，这样训练得到的向量都是任务导向的，不具有通用性。
在这里插入图片描述

2、基于语言模型的词向量训练

语言模型：语言模型可以给出每个句子是句子的概率： $P(s)=\prod _{i=1}^TP(w_i)$ 而每个词的概率定义成n-gram形式，即每个词出现只与前n-1个词有关： $P(w_t)=P(w_t|w_{t-n+1}^{t-1})$ 评价语言模型好坏的指标困惑度(perplexity)： $PP(s)=\sqrt[T]{\frac{1}{P(s)}}$ $PP(s)=e^{-\frac{1}{T}\sum_{i=1}^TlogP(w_i)}$

算法：

对于每个词随机初始化一个词向量；
取得一句话连续的n-1个词，将这n-1个词对应的词向量连接(concatenate)在一起形成网络e；
将e作为输入，送入到一个单隐层神经网络，隐层的激活函数为tanh，输出层的神经元个数为词表大小；

优点：就像原文中提到的，即训练出一组词向量，又得到一个语言模型。其次是不需要标注数据，可以使用很大的数据集。
论文：《A Neural Probabilistic Language Model》
在这里插入图片描述
观看上图，统计词表，词表中每个词初始化一个向量，取一句话连续的n-1个词，将这n-1个词对应的词向量连接在一起，比如每个词向量为100维，将三个词向量连接在一起得到一个300维的词向量。将该向量传入一个激活函数为tanh的全连接神经网络，再连接一个softmax的输出层。softmax对输出进行分类，词表中有多少个词，就会有多少个分类结果。最后得到了第t个词在前t-1个词条件下的概率，这是一个无监督模型，通过梯度下降训练整个端对端模型。