Distributed Representations of Sentences and Documents阅读笔记

论文原文	Distributed Representations of Sentences and Documents
论文信息	ICML2014
论文解读	Hytn Chen & Pvop
更新时间	2020-02-03

句子分布式表示简介

句子分布式表示：将一句话用固定长度的向量进行表示，向量往往高维，因此也可看作将一句话嵌入进高维空间中去，也叫做句嵌入。

句子分布式表示相关方法

基于统计的句子分布式表示

有bag-of-words也就是著名的词袋模型，以及n-gram模型。两个模型非常基础，网络上有很多详细介绍的文章。

基于深度学习的句子分布式表示

有加权平均法以及深度学习模型。

加权平均法

所谓加权平均法模型就是把学习得到的每个词的词向量进行加权平均，从而得到这些词组成的句子的分布式表示：
$$e_S=\frac{1}{n}\sum _{i=1}^n{e}_i$$