今天开始整理一些之前看过的论文,一是复习巩固基础,二是可以回过头来想一想有没有新的理解。
论文链接:
Siamese Recurrent Architectures for Learning Sentence Similarity
Learning Text Similarity with Siamese Recurrent Networks
Siamese Recurrent,中文名叫孪生网络,用于比较两段文本之间的相似性,是一种非常常用的网络结构,很多之后的网络结构也在使用这种思想,比如ESIM等。另外这种思想在推荐系统中也有一些使用,比如在itemcf种学习两个item的相似度矩阵,就可以用这种网络。
背景
在深度学习还没火起来之前,大家比较两段文本的相似性,都习惯用词袋模型或者 TF-IDF 模型,但是这些模型有几个很明显的缺点,一是没有用到上下文的信息,而是词与词之间联系不紧密,词袋模型难以泛化。
这种问题直到 LSTM 的出现或者说普及,才被慢慢解决。LSTM 或者说 RNN 模型,由于其天然的结构特点(不了解的同学可以去查阅相关内容,这篇文章不讲 LSTM 原理),可以去适应变成的句子,比如我们要比较两个不同长度的句子的相似性,通过 RNN