论文阅读--相似文本匹配

最新推荐文章于 2024-01-15 15:21:45 发布
最新推荐文章于 2024-01-15 15:21:45 发布
阅读量149 收藏
点赞数
分类专栏： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36378508/article/details/117932274
版权

Keyword-Attentive Deep Semantic Matching（2020 tencent）
解决文本匹配任务，QQ匹配任务，更加关注关键词差异部分
1 统计获得句子关键词，
PMI互信息获取两个字组成词的概率发现新词
diff_idf计算不同词的重要信息
卡阈值，获得每个领域的候选词
所有领域下的关键词集合起来构成关键词列表
2 关键词注意力机制
在bert最后一层，A+B(对B关键词mask), A(对A做关键词mask)+B
获得A对B关键词的注意表示，B对A关键词注意表示，原始表示等信息
3 负采样
利用重叠部分大小
利用相似分数归一化

zhurui_xiaozhuzaizai
关注
专栏目录
负采样方式
weixin_39586997的博客
10-27 2103
一、随机负采样 二、曝光未点击 三、混合负采样 四、重要性采样 五、有偏采样 六、NCE采样 参考： [mixed negative sampling] Mixed Negative Sampling for Learning Two-tower Neural Networks in Recommendations（2020） [Youtube] Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recomme
文本检索及匹配论文阅读笔记汇总（不定期更新）
Leokb24的博客
09-23 1429
文章目录DRMMK-NRMPACRR && Co-PACRREnhanced DRMM DRMM A Deep Relevance Matching Model for Ad-hoc Retrieval K-NRM End-to-End Neural Ad-hoc Ranking with Kernel Pooling PACRR && Co-PACRR PACRR...
深度学习：注意力机制Attention
皮皮blog
10-25 1万+
注意机制最早由Bahdanau等人于2014年提出（统计机器翻译中的对齐过程[NEURAL MACHINE TRANSLATION BY JOINTLY。
前沿重器[6] | 腾讯专注关键词的深度语义匹配模型
baidu_25854831的博客
02-07 467
【前沿重器】栏目主要给大家分享各种大厂、顶会的论文和分享，从中抽取关键精华的部分和大家分享，和大家一起把握前沿技术。具体介绍：仓颉专项：飞机大炮我都会，利器心法我还有。往期回顾前沿重器[...
实习笔记12-Keyword-Attentive Deep Semantic Matching
最新发布
Claire的博客
01-15 876
首先QA语义检索用关键词之后如何用呢？在BERT里面添加一个关键词注意力层之后构建正负样本的时候，采用的是关键词重叠和实体替换的方法。
【Whalepaper】NLP论文研读 - Keyword-Attentive Deep Semantic Matching
老马的程序人生
07-25 604
Whalepaper是由周郴莲负责的一个每周分享论文的活动，带你研读AI领域的论文，快来一起开源学术科研吧！ NLP 论文分享：每周日 晚上 九点 CV 论文分享： 每周日 晚上 九点 Res 论文分享：每周六 晚上 九点半 欢迎对paper感兴趣的人加入我们的分享啊！！！ 分享人：谢文睿，Datawhale成员，南瓜书作者 论文标题：Keyword-Attentive Deep Semantic Matching 论文摘要：Semantic Matching 推荐理由：微信团队提出的短文本匹配模型
论文研究-基于分级匹配的维吾尔语文档相似性计算及剽窃检测方法.pdf
07-22
针对以维吾尔语书写的文档间的相似性计算及剽窃检测问题，提出了一种基于内容的维吾尔语剽窃检测（U-PD）方法。首先，通过预处理阶段对维吾尔语文本进行分词、删除停止词、提取词干和同义词替换，其中提取词干是基于...
论文研究-使用2－范数匹配的快速分形图像编码算法.pdf
09-07
标题《论文研究-使用2－范数匹配的快速分形图像编码算法.pdf》暗示了这篇论文的研究主题涉及到了图像处理领域中的分形图像编码技术，并且特别提到了使用2－范数（也称为欧几里得范数）进行匹配的方法。2－范数是向量...
【文本匹配】Question Answering论文
zenRRan的博客
04-20 445
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要10分钟跟随小博主，每天进步一丢丢来自 |知乎地址 |https://zhuanlan.zhihu.com/p/11176825...
论文笔记——Semantic Sentence Matching with Densely-connected Recurrent and Co-attentive Information(DRCN)
IndexFziQ CSDN
10-29 2006
Introduction 本文出自韩国 Naver Corporation 和 Seoul National University ，工作定义在句子匹配任务上。Sentence Matching的关键之处在于如何表示句子语义（目前感觉就是上下文信息和类似 POS 的特征信息，不能说是语义），如何理解句子之间的语义关系。查看相关工作可以得到，Attention 算法在刻画两个句子语义关系和对齐句子成...
上百篇论文概览『负采样方法』的前世今生
Kaiyuan_sjtu的博客
12-31 2205
Efficient and Effective: 百篇论文概览负采样方法的前世今生 © 作者｜徐澜玲研究方向｜推荐系统引言：负采样方法最初是被用于加速 Skip-Gram 模型的训练...
深度文本匹配发展总结
xiayto的博客
07-28 1万+
1、背景介绍 文本匹配是自然语言处理中的一个核心问题，很多自然语言处理的任务都可以抽象成文本匹配问题，例如信息检索可以归结成查询项和文档的匹配，问答系统可以归结为问题和候选答案的匹配，对话系统可以归结为对话和回复的匹配。针对不同的任务选取合适的匹配模型，提高匹配的准确率成为自然语言处理任务的重要挑战。 2、数据集介绍 论文中经常用到的数据集： SNLI：570K条人工标注的英文句子对...
一周新论文 | 2020年第13周 | 自然语言处理相关
语言智能技术笔记簿
03-29 3853
《一周新论文》系列之2020年第13周：自然语言处理相关
GPT2模型详解
热门推荐
weixin_36378508的博客
12-09 2万+
一 背景介绍 GPT2模型是OpenAI组织在2018年于GPT模型的基础上发布的新预训练模型，其论文原文为 language_models_are_unsupervised_multitask_learners GPT2模型的预训练语料库为超过40G的近8000万的网页文本数据，GPT2的预训练语料库相较于GPT而言增大了将近10倍。 二 GPT2与GPT 模型的区别 3 GPT2模型结构 GPT-2 模型由多层单向 Transformer 的解码器部分构成，本质上是自回归模型，自回归的意思是指
对抗学习总结：FGSM-＞FGM-＞PGD-＞FreeAT, YOPO -＞FreeLb-＞SMART-＞LookAhead-＞VAT
weixin_36378508的博客
04-25 1万+
对抗训练基本思想——Min-Max公式 中括号里的含义为我们要找到一组在样本空间内、使Loss最大的的对抗样本（该对抗样本由原样本x和经过某种手段得到的扰动项r_adv共同组合得到）。这样一组样本组成的对抗样本集，它们所体现出的数据分布，就是该中括号中所体现的。 外层min()函数指的则是，我们面对这种数据分布的样本集，要通过对模型参数的更新，使模型在该对抗样本集上的期望loss最小 对抗训练的核心步骤是： 用被对抗性样本污染过的训练样本来训练模型，直到模型能学习到如此类型的抵抗。从而保证模型的安全.
绝对位置编码【三角/递归/相乘】-＞相对位置编码【XLNET/T5/DEBERTA】-＞旋转位置编码(ROPE/XPOS)-＞复杂位置编码【CNN/RNN/复数/融合】
weixin_36378508的博客
03-18 8755
本文分成三类讲解： 1、绝对位置编码-BERT（学习位置编码） 2、正弦位置编码 3、相对位置编码-NEZHA 4、（处理超文本-层次位置编码） 对每一种都进行的讲解，并在代码中详细加了注释！ 1、绝对位置编码-BERT BERT使用的是训练出来的绝对位置编码，这种编码方式简单直接，效果也不错。 这种方法和生成词向量的方法相似，先初始化位置编码，再放到预训练过程中，训练出每个位置的位置向量。 关于该方法的代码如下，用Keras写的，参考苏剑林老师的bert4keras中的代码 from keras.la.
深度学习在文本匹配中的应用综述
深度文本匹配是解决文本相关性、相似性和理解的关键技术，尤其在信息检索、问答系统、情感分析等领域有广泛应用。随着深度学习技术的发展，它已经成为了处理复杂语义和上下文关系的有效工具。 传统的文本匹配方法...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值