《Siamese Recurrent Architectures for Learning Sentence Similarity》论文总结

最新推荐文章于 2022-06-30 16:56:26 发布
最新推荐文章于 2022-06-30 16:56:26 发布
阅读量2.2k 收藏 5
点赞数 2
分类专栏： 论文阅读 nlp 文章标签： siamese nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38526306/article/details/88033929
版权
本文总结了《Siamese Recurrent Architectures for Learning Sentence Similarity》论文，探讨了如何利用Siamese Recurrent Networks进行文本相似度比较。通过共享权重的LSTM对句子进行编码，解决了传统词袋模型的局限性，尤其在处理变长句子时，能有效捕捉上下文信息。实验表明，Manhattan distance作为相似度度量效果最佳。此外，双向LSTM的引入进一步提升了模型的表现，尤其在处理未登录词问题上。
摘要由CSDN通过智能技术生成

今天开始整理一些之前看过的论文，一是复习巩固基础，二是可以回过头来想一想有没有新的理解。

论文链接：

Siamese Recurrent Architectures for Learning Sentence Similarity

Learning Text Similarity with Siamese Recurrent Networks

Siamese Recurrent，中文名叫孪生网络，用于比较两段文本之间的相似性，是一种非常常用的网络结构，很多之后的网络结构也在使用这种思想，比如ESIM等。另外这种思想在推荐系统中也有一些使用，比如在itemcf种学习两个item的相似度矩阵，就可以用这种网络。

背景

在深度学习还没火起来之前，大家比较两段文本的相似性，都习惯用词袋模型或者 TF-IDF 模型，但是这些模型有几个很明显的缺点，一是没有用到上下文的信息，而是词与词之间联系不紧密，词袋模型难以泛化。

这种问题直到 LSTM 的出现或者说普及，才被慢慢解决。LSTM 或者说 RNN 模型，由于其天然的结构特点(不了解的同学可以去查阅相关内容，这篇文章不讲 LSTM 原理)，可以去适应变成的句子，比如我们要比较两个不同长度的句子的相似性，通过 RNN

最低0.47元/天 解锁文章
Ezail_xdu
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Siamese Recurrent Architectures 阅读笔记及复现
Leokb24的博客
04-08 1586
文章目录1. Siamese Recurrent Architectures for Learning Sentence Similarity模型结构Manhattan LSTM Model2. Learning Text Similarity with Siamese Recurrent Networks模型结构Contrastive loss function 1. Siamese Recur...
相似度-AAAI16-Siamese Recurrent Architectures for Learning Sentence Similarity
Hekena的博客
10-23 658
我们向LSTM提供了补充有同义词信息的词嵌入向量，LSTM使用一个固定大小的向量来编码一个句子中所表达的基本含义（不管特定的措辞/语法）。通过限制后续操作以依赖简单的曼哈顿度量，我们迫使我们的模型学到的句子表征形成一个高度结构化的空间，其几何形状反映了复杂的语义关系。在introduction中，论文提到：一个好的模型不应受到用于表达同一观点的不同措辞/语法的影响。
Neural Architectures for Named Entity Recognition（用于命名实体识别的神经结构）全文翻译
养猪少年日记的博客
09-03 3482
前言 原文：https://arxiv.org/pdf/1603.01360.pdf 主要使用翻译软件：http://fanyi.youdao.com/ 人工修改：https://blog.csdn.net/qq_41837900 本文主要使用 有道翻译 ，由人工对细节修改，力求达到信达雅。 正文： Neural Architectures for Named Entity Recognition...
实体-关系联合抽取：Neural Architectures for Named Entity Recognition
浩比的专栏
11-11 1013
文章地址：https://arxiv.org/pdf/1603.01360.pdf 文章标题：Neural Architectures for Named Entity Recognition（命名实体识别的神经结构）ACL2016 代码地址： 1、LSTM-CRF：https://github.com/glample/tagger 2、Stack-LSTM：https://github.com...
Siamese+LSTM+Distance(abs)
szn1043862535的博客
06-30 685
孪生网络首先要理解什么是孪生网络模块，我们在词嵌入和编码（LSTM）过程中使用的是相同的参数，比如说我下面的代码中，在编码阶段，对于两个句子的输入，我都使用了相同的LSTM，这也就是Siamese+LSTM。疑问 不过我有个疑问，我在某些文章中看到用LSTM来判断句子相似度，它不是Siamese+LSTM，在文章中对比的两种方法，一种是Siamese+LSTM，还有一种是LSTM。我也不清楚这个单独的LSTM是什么意思，后来我思考了一下，可能是在对两个句子进行编码的时候，使用了两个不同的LSTM结构（我猜是
Siamese Recurrent Architectures for Learning Sentence Similarity.pdf
10-14
用最简单的模型、最简单的特征工程做出好效果，追求的就是极致性价比。如果有需要，可以在此基础上做一些模型更改和特征工程，提高表现效果。
论文研究-Sentence Similarity measurement Based on the combination of Siamese recurrent network model and Word Alignment model.pdf
08-22
基于循环神经网络与对齐模型的句子相似度计算，赵银各，徐蔚然，本文提出一种新的句子相似度计算模型，即通过孪生递归神经网络与对齐模型计算句子相似度。在孪生递归神经网络中我们不仅引入句子
Dependency-based Siamese Long Short-Term Memory Network for Learning Sentence Representations
02-07
### Dependency-based Siamese Long Short-Term Memory Network for Learning Sentence Representations #### 摘要与背景 在自然语言处理（Natural Language Processing, NLP）领域中，文本表示扮演着至关重要的...
Exploring Simple Siamese Representation Learning自监督论文
03-23
在这篇2020年的论文《Exploring Simple Siamese Representation Learning》中，Xinlei Chen和Kaiming He两位作者来自Facebook AI Research（FAIR）提出了一种简单但有效的基于孪生网络（Siamese Network）的自监督...
论文研究 - 基于BILSTM-Siamese网络的汽车常见问题解答助手
05-17
随着人工智能的发展，自动问答技术受到越来越多的关注。 随着技术的日趋成熟，问题逐渐暴露出来。 该技术具有几个主要困难。 有语义识别。 问题的答案有多准确？ 因为中文语法比较复杂。 说同一件事有很多不同的方式。 语义识别面临着强大的挑战。 由于较差的语义识别，相应问答的准确性较低。 针对此类问题，我们建立了常见汽车问答集。 首先，利用TFIDF方法建立了一个基本的FAQ检索系统。 然后，我们使用BILSTM-siamese网络构建语义相似性模型。 测试仪的准确率为99.52％。 最终的FAQ系统：首先使用TFIDF模型检索30个最相似的问题，然后使用BILSTM-siamese网络匹配并返回最相似问题的答案。 该系统有很多改进之处。 例如，如何将此系统与语音识别相结合？ 如何实现语音识别将是一个巨大的挑战。
Graph Matching Networks for Learning the Similarity of Graph Structured Objects
05-07
研究者在三个任务上评估了图相似性学习（Graph Similarity Learning，GSL）框架、图嵌入模型（GNN）以及图匹配网络（GMN）的性能，并将这些模型与其他方法进行了对比。总体上，实验结果表明在图相似性学习任务上，...
SiameseLSTM论文阅读及其Tensorflow实现
热门推荐
jx00109的博客
05-24 1万+
原文作者主要为针对短语/句子/序列的相似性比较提出了一种评价模型——Siamese LSTM（孪生网络）。该模型是输入为句子对，输出为输入句子对的相似性得分（得分为1-5）。该模型在SemEval 2014数据集上取得了state-of-art的结果。
NLP之SiameseLSTM算法
weixin_38440272的博客
05-14 3231
5.12今天交了一下，训练了一个epoch，效果不好，交了一下成绩是05.14今天终于改通了算法，是vocab.size的问题，传的时候给成词典的值了，应该给句子的值，导致eval出问题。训练了一个epoch，效果不好，准备循环100次看一下loss，这里记录一下原理。论文地址：Siamese Recurrent Architectures for Learning Sentence Simila...
【笔记】Neural Architectures for Named Entity Recognition
qq_39721540的博客
01-13 575
Neural Architectures for Named Entity Recognition 这是本人读论文的笔记，其余论文部分在网上都有，本人仅对自己未知的知识进行记录！ 全文翻译：https://blog.csdn.net/qq_28385535/article/details/85061404 近/规约解析（ shift-reduce） Shift Reduce解析器尝试以类似......
[[NLP]基于Simaese LSTM的句子相似度计算
Forgive Me
11-02 1万+
句子相似度计算在问答系统以及客服机器人当中应用比较频繁，比对针对对话模型中比较频繁的问句可以先进行过滤，之后再进行对话理解。在文本检测方面也有所应用，比如作家写作风格的检测。本文叙述的句子相似度计算方法来自论文Siamese Recurrent Architectures for Learning Sentence Similarity,论文是基于Simaese LSTM网络对成对相似句进行训练，通
论文阅读-文本匹配（一） 孪生LSTM
布生气
12-11 5522
论文题目： Siamese Recurrent Architectures for Learning Sentence Similarity 论文地址：https://www.aaai.org/ocs/index.php/AAAI/AAAI16/paper/view/12195/12023 作者：Jonas Mueller，Aditya Thyagarajan 单位：Massachusett
Deep LSTM siamese network for text similarity源码分析
lqfarmer的博客
04-19 6568
Deep LSTM siamese network for text similarity源码分析 上文讲解了基于SimaseLSTM来计算两个句子或单词之间相关性的原理和个人的一些经验这里来分析一下源码是怎么实现的： Github实现地址：https://github.com/dhwajraj/deep-siamese-text-similarity 具体实现的是文章SiameseRecu
《Learning Deep Structured Semantic Models for Web Search using Clickthrough Data 》论文总结
Ezail的博客
03-12 2729
1.背景 DSSM是Deep Structured Semantic Model的缩写，即我们通常说的基于深度网络的语义模型，其核心思想是将query和doc映射到到共同维度的语义空间中，通过最大化query和doc语义向量之间的余弦相似度，从而训练得到隐含语义模型，达到检索的目的。DSSM有很广泛的应用，比如：搜索引擎检索，广告相关性，问答系统，机器翻译等。 2. DSSM 2.1简介 ...
sentence-bert: sentence embeddings using siamese bert-networks emnlp
最新发布
04-30
Sentence-BERT（双塔BERT网络）是一种使用BERT网络生成句子嵌入的方法。 该技术在自然语言处理领域中具有广泛的应用，并且与传统的词向量相比，它提供了更丰富和有趣的语义信息。 在这个技术中，双塔BERT网络被用来...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值