论文原文: Siamese CBOW: OptimizingWord Embeddings for Sentence Representations
引言
前段时间看了一篇Siamese LSTM(孪生LSTM)用于生产句子表示的论文,这次又看到了这一篇文章,感觉也很有意思,这篇文章是借鉴了CBOW模型的想法提出了Siamese CBOW模型,并且取得了不错的效果。
主要内容
作者在文中提到,现在有很多生成句子表示的方法都是将现有的词向量进行average,那么我们可以在训练的时候就将average融入其中,尝试通过这样的方法来得到用于表示句子的词向量。
数据
Toronto Book Corpus:这是一个很庞大的语料库,包括了74,004,228句已经预处理好的句子,这些句子中含有1,057,070,918个tokens(在实验中,将词频限制在5以上,共有315,643个tokens),它们的来源是7,087本不同的书籍。这些句子前后连贯,就是完整的小说文章,仅在文章和文章之间会出现不连贯(可以忽略不计,毕竟大多数句子意思上还是连贯的)。
模型
模型会初始化一个词向量矩阵W,随着训练的进行会对W进行更新。
输入层:
以单词为单位输入。
对于语录库中的每一个 si ,其前一句 si−1 以及后一句