文本相似度，文本匹配模型归纳总结

最新推荐文章于 2024-06-06 14:03:20 发布
置顶 最新推荐文章于 2024-06-06 14:03:20 发布
阅读量2.2w 收藏 145
点赞数 18
分类专栏： 机器学习 自然语言处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012526436/article/details/90179466
版权

转载请注明出处，原文地址

最近工作一直在做文本匹配，期间也一直很忙，快2个月没更新博客了，之后打算把近期编写的匹配模型做成合集与大家分享，希望各位能有所收获。

本文将会整合近几年来比较热门的一些文本匹配模型，并以QA_corpus为测试基准，分别进行测试，代码均采用tensorflow进行实现，每个模型均会有理论讲解与代码实现，现已添加到我的githubhttps://github.com/terrifyzhao/text_matching欢迎star

项目代码与论文讲解都在持续更新中，如没有找到实现的代码，或相关论文讲解，请给我一首歌的时间

DSSM详解

ESIM详解

ABCNN详解

BiMPM详解

DIIN详解

DRCN详解

测试集结果对比：

模型lossacc输入说明论文地址
DSSM0.76131570.6864字向量DSSM
ConvNet0.68724470.6977字向量ConvNet
ESIM0.554448070.736字向量ESIM
ABCNN0.57714520.7503字向量ABCNN
BiMPM0.48520.764字向量+静态词向量BiMPM
DIIN0.482986360.7694字向量+动态词向量DIIN
DRCN0.65498490.7811字向量+静态词向量+动态词向量+是否有相同词DRCN

代码地址

代码或论文讲解如果有写错的地方，欢迎指正，感谢各位

爱编程真是太好了
关注
  • 18
    点赞
  • 踩
  • 145
    收藏
    觉得还不错? 一键收藏
  • 20
    评论
专栏目录
中文文本相似度匹配算法
07-15
中文文本相似度匹配算法 simHash 海明距离 IK分词 完整的可运行的示例代码 包含simHash 算法，使用IK 对中文文本进行分词处理
批量短文本相似度匹配工具
06-14
工具作用：在很多数据分析场景中，需要对比连个不同表中文本的相似度，并且按照相似度将其进行关联。例如在A表之中有一字段名交单位名称，其中的有个单位名交“四川省审计厅”，而另一个表中的单位名称字段中，又叫...
文本匹配相关知识整理(更新中)
inveriel
09-28 1330
文本匹配相关知识整理【更新中】短文本匹配一、无监督方式word2vector + 相似度计算BM25二、有监督方式Siamese Network匹配聚合网络三、预训练语言模型有监督方式 + 无监督方式文本匹配常见思路（不写trick） 本人由于前段时间参加了讯飞中文重复问题识别挑战赛，对文本匹配这个方向做一下简单的梳理，方便参考学习以及面试。 短文本匹配 短文本匹配即计算两个短文本的相似度，通常分成无监督方式、有监督方式、有监督+无监督方式 一、无监督方式 考虑文本表征和相似度计算两个方面 文本表征：词袋模
BERT应用——文本相似度计算
最新发布
python_plus的博客
06-06 1658
本文展示了如何利用BERT模型计算两个文本字符串之间的余弦相似度。
深度学习技术选型——文本相似度计算
chenxy02的博客
12-16 7030
背景： 笔者由于在做一个检索式智能对话系统的项目，需要用到文本相似度计算深度学习模型（以下简称“文本相似度模型”）。便和团队一起对文本相似度技术进行一波调研。 目标： 1、对同一意思的不同长度的问法，有较好的识别能力 “共青团的基本任务” & “中国共青团的基本任务是什么呢” 比如上面两个句子，我们希望文本相似度模型能够给出较高的相似度得分。 ps:实际的工程实践中实现此目标，我们也可以考虑结合“去停用词”，将“是”、“什么”、“呢”这样的词汇先去掉。停用词词库可以参考下面的链.
BERT文本相似度实战
lixh2100的博客
06-27 8401
BERT文本相似度实战Bert 文本相似度实战（使用详解）参考资料代码准备数据建立config文件run_classifier.py 改造开始实践天天日日夜夜月月日夜近日改天提那天是否 Bert 文本相似度实战（使用详解） 大家好！其实 BERT 的实战代码已经很多了，也被诸多大佬引用和实验过。这篇主要用来记录自己在使用与处理时注意到的点，私以为比较适合BERT小白快速上手。 参考资料 这篇笔记主要参考了一个智能客服的项目，项目地址请点击这里。其中主要借鉴了该项目的子项目chatbot_retrieval中
文本匹配、文本相似度模型之ABCNN
u012526436的博客
05-13 4983
简介 本文将会介绍以CNN与attention机制做文本匹配的模型即ABCNN，这里给出论文地址ABCNN 这里是我的代码实现 在文本任务上，大部分模型均是采用以LSTM为主的结构，本文的作者采用了CNN的结构来提取特征，并用attention机制进行进一步的特征处理，作者一共提出了三种attention的建模方法，下文会详细介绍。 在开始讲解之前，我们简单说明下attention机制，例如我们有...
Keras框架（二）：实现文本相似度的几种模型（代码）
qq_24140919的博客
04-23 5058
根据已学的知识，将几种深度学习模型运用到自己最近的科研项目——文本相似度： 使用框架：Keras 模型：深度学习相关模型 1. LSTM实现文本相似度： def get_model(nb_words, EMBEDDING_DIM, embedding_matrix, MAX_SEQUENCE_LENGTH, num_lstm, rat...
vsm模型计算文本相似度
01-13
1.采用经典的vsm模型实现的文本相似度计算。 2.采用中科院ictclas的开源分词系统 3.包含全部实现源码
批量短文本相似度匹配工具源码
06-14
工具作用：在很多数据分析场景中，需要对比连个不同表中文本的相似度，并且按照相似度将其进行关联。例如在A表之中有一字段名交单位名称，其中的有个单位名交“四川省审计厅”，而另一个表中的单位名称字段中，又叫...
文本相似度计算数据文本相似度计算数据
04-06
总的来说，文本相似度计算涉及了自然语言处理的多个方面，包括文本表示、相似度度量、模型选择和优化等。通过对给定的数据进行分析，我们可以深入了解不同文本之间的关联，为各种实际应用场景提供有价值的信息。
WikiQACorpus数据集
03-05
WikiQACorpus数据集，NLP项目测试集，可用于训练与测试。
深度学习解决NLP问题：语义相似度计算.pdf
09-13
深度学习解决NLP问题：语义相似度计算pdf,深度学习解决NLP问题：语义相似度计算
insuranceqa-corpus-zh：​​保险行业语料库，聊天机器人
02-04
保险行业语料库 大家称为 看了下您的项目，我觉得这份数据可以用于保险领域的中文问答研究，对于某些问题的翻译很准确，长度扩展的答案翻译就有些不连贯的问题，大体上关键字信息和-华东师范大学 优秀作品！ - ，中国东部师范大学 绝对 基线模型 最小批量大小= 100，hidden_​​layers = [100，50]，lr = 0.0001。 纪元25，总步数36400，精度0.9031，成本1.056221。 滴水 Python3 + pip install -r Requirements.txt 跑 一个非常简单的网络作为基准模型。 python3 deep_qa_1/network
Python项目推荐：文本相似度对比（附图形化界面）
weixin_43495948的博客
03-08 3083
计算一个指定的文件和一个指定的文件夹下面每一个文件的相似度计算一个文件下任意两个文件的相似度。
文本匹配、文本相似度模型之BIMPM
发呆的比目鱼的博客
10-29 897
自然语言句子的多视角匹配
多个文本对比相似度分析
lwq123free的博客
11-19 8325
该程序中和了多个网上的小程序，下面的介绍中会一一标明出处。 程序会用到多个python包，主要是docx，gensim和jieba还有xlwt，没有的话，通过pip安装 要注意安装docx包是pip install python-docx，不是docx。 导入包 import os import numpy as np import docx import jieba import re impo...
文本匹配算法详解
Matrix-yang的博客
09-29 3150
原文知乎: 传统文本匹配算法详解（附代码） . 文本匹配是NLU中的一个核心问题，虽然基于深度学习的文本匹配算法大行其道，但传统的文本匹配算法在项目中也是必要的。本文详解了传统的文本匹配算法Jaccard、Levenshtein、Simhash、Bm25、VSM的原理及其代码分享给大家，若有不足之处，请大家指出。1. 概述 在实际工程项目，不论是基于交互的还是基于表示的文本匹配，往往都会结合传统的字面匹配算法来综合评估两段文本的匹配程度。至此，“文本匹配”系列文章更新完结，后期会针对性解读
文本匹配SimCSE模型代码详解以及训练自己的中文数据集
weixin_42280271的博客
02-09 3305
这个模型的定义其实很简单，就是用bert作为特征提取的基础模型，然后再bert模型输出的基础上加上一个dropout操作，就是代码中的pooling层，核心代码就是下面几行outputs . append(output) count += 1 except : break output = bert . output # 最后的编码器 encoder = Model(bert . inputs , output)

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 20
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值