自然语言处理研究方向--文本相似度论文合集(不断更新)

1、Learning Text Similarity with Siamese Recurrent Networks | 网络包含4层BiLSTM(64-d hidden),最后一层的BiLSTM的hidden state和cell state进行concat,然后在timestep维度进行average处理,并接一个Dense层(激活函数为tanh),得到的两个Embedding Space进行Cosine sim计算,得到的相似度分数E用于损失函数计算,损失函数使用对比损失函数,计算方法为,损失函数正例:1/4(1-E)^2,负例:E^2(如果E<m),否则0 | Paul Neculoiu et al,2016

论文链接:

链接https://aclanthology.org/W16-1617.pdf

论文解读:

链接https://blog.csdn.net/weixin_41362649/article/details/113795728?utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2~aggregatepage~first_rank_ecpm_v1~rank_v31_ecpm-23-113795728.pc_agg_new_rank&utm_term=%E5%8F%8C%E5%90%91lstm%E5%AD%AA%E7%94%9F&spm=1000.2123.3001.4430

 代码复现:  暂未实现。

2、Siamese Recurrent Architectures for Learning Sentence Similarity  | Siamese LSTM,一个用来计算句对相似度的模型 | Jonas Mueller et al,2016

论文链接:

链接https://www.semanticscholar.org/paper/Siamese-Recurrent-Architectures-for-Learning-Mueller-Thyagarajan/72b89e45e8ad8b44bdcab524b959dc09bf63eb1e

论文解读:

链接https://blog.csdn.net/qq_38587650/article/details/123734093?spm=1001.2014.3001.5501

论文复现:

链接https://gitcode.net/mirrors/leokb24/Siamese-LSTM?utm_source=csdn_github_accelerator

3、Bag of Tricks for Efficient Text Classification  | 比较经典的FastText,比较依赖Word Embedding的质量(槽点本身难点就在于embedding,结果文章不谈这个),整个网络结构使用N-gram,对得到的Embedding求和,并过两个Dense然后输出,本身网络结构就那没啥,当然fast啦,外加论文具体加了hashing trick,hierarchical softmax等进行加速、内存优化 | Armand Joulin et al,2016

论文链接:

链接https://arxiv.org/pdf/1607.01759.pdf

论文解读:

论文复现:

4、Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks | 和之前提出的InferSent结构如出一辙,妥妥的双塔结构,只是换成了Bert来进行特征表示。模型结构没有什么创新点,但是这个结构用起来效果挺好,速度也快,很适合工业界使用。论文中在针对句向量表示计算策略分别使用了CLS向量策略、平均池化策略、最大值池化策略三个策略进行实验,实验结果中平均池化策略最优 | Nils Reimers et al,2019

论文链接:

链接https://arxiv.org/pdf/1908.10084.pdf

论文解读:

论文复现:

5、SimCSE: Simple Contrastive Learning of Sentence Embeddings |  基于Sentence-Bert,引入对比学习的思想,在无监督与有监督语义相似度计算任务达到SOTA。主要围绕对比学习质量指标Alignment和Uniformity来进行优化,对于Unsupervised,核心是使用dropout mask生成正样本,负样本是in-batch negatives。而Supervised则是NLI中entailment关系样例对。负例:a) in-batch negatives b)NLI中关系为contradiction的样例对 | Tianyu Gao et al,2021

论文链接:

链接https://arxiv.org/pdf/2104.08821.pdf

论文解读:

论文复现:

6、Multi-Perspective Sentence Similarity Modeling with Convolutional Neural Networks | 基于卷积神经网络的多视角句子相似度建模

论文链接:

链接https://www.aclweb.org/anthology/D15-1181.pdf

论文解读:

链接https://www.pianshen.com/article/74641504186/

论文复现:

7、Learning Deep Structured Semantic Models for Web Search using Clickthrough Data | DSSM是相当知名的多塔模型

论文链接:

链接https://posenhuang.github.io/papers/cikm2013_DSSM_fullversion.pdf

论文解读:

论文复现:

链接https://github.com/InsaneLife/dssm

8、Neural Network Models for Paraphrase Identification, Semantic Textual Similarity, NLI and QA | 用于意译识别、语义文本相似性、自然语言推理和问题回答的神经网络模型

论文链接:

链接https://arxiv.org/pdf/1806.04330.pdf

论文解读:

链接https://www.pianshen.com/article/2145783639/

论文复现:

9、A Simple but Tough-to-Beat Baseline for Sentenc

论文链接:

链接https://openreview.net/pdf?id=SyK00v5xx

论文解读:

链接https://www.cnblogs.com/databingo/p/9788244.html

论文复现:

链接https://github.com/PrincetonML/SIF

10、Evolution of Semantic Similarity - A Survey | 语义相似度的一篇综述(2020)整体文章从数据集开始,将技术体系分为:基于知识的语义相似性方法、基于语料的语义相似性方法、基于深度神经网络的方法、基于混合模型方法四类进行分析 | DHIVYA CHANDRASEKARAN et al,2020

论文链接:

链接https://arxiv.org/pdf/2004.13820.pdf

论文解读:

链接https://zhuanlan.zhihu.com/p/138636605

论文复现:

11 、Learning Semantic Textual Similarity from Conversations  | Google提出了一个新的方法来学习用来计算语义文本相似度的句子表示方法

论文链接:

链接https://arxiv.org/pdf/1804.07754.pdf

  • 1
    点赞
  • 15
    收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:技术黑板 设计师:CSDN官方博客 返回首页
评论

打赏作者

已退游,勿扰

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值