基于bert的中文语义匹配模型,判断两句话是不是同一个意思

最新推荐文章于 2025-01-30 23:10:51 发布
最新推荐文章于 2025-01-30 23:10:51 发布
阅读量5.6k 收藏 13
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/demm868/article/details/103052327
版权

640?wx_fmt=gif

向AI转型的程序员都关注了这个号👇👇👇

机器学习AI算法工程  公众号：datayx

日趋增多的网络信息使用户很难迅速从搜索引擎返回的大量信息中找到所需内容。自动问答系统为人们提供了以自然语言提问的交流方式，为用户直接返回所需的答案而不是相关的网页，具有方便、快捷、高效等特点。

本文的核心是句子相似度的计算，可以使用TF-IDF和word2vec两种方法对问句进行向量化，并在此基础上使用进行句子相似度的计算。

也可以利用深度学习模型做句子配对，即给定用户描述的两句话，用算法来判断是否表示了相同的语义。若语义相同则判断为1，不相同则为0.

了解更多

https://blog.csdn.net/fkyyly/article/details/86016703

640?wx_fmt=png

如果能够找到相应的问题，就可以直接将问题所对应的答案返回给用户，而不需要经过问题理解、信息检索、答案抽取等许多复杂的处理过程，提高了效率。FAQ(Frequently Asked Questions)系统在根据用户问题建立候选问题集的基础上，建立常问问题集的倒排索引，提高了系统的检索效率，同时，与传统的基于关键词的方法相比，用基于语义的方法计算相似度提高了问题的匹配精度。

FAQ问答系统是一种已有的“问题-答案”对集合中找到与用户提问相匹配的问句，并将其对应的答案返回给用户的问答式检索系统。由于FAQ问答系统免去了重新组织答案的过程，可以提高系统的效率，还可以提高答案的准确性。这其中要解决的一个关键问题是用户问句与“问题-答案”对集合中问句的相似度比较，并把最佳结果返回给用户。

利用预训练的中文模型实现基于bert的语义匹配模型

数据集为LCQMC官方数据、代码下载地址

关注微信公众号 datayx  然后回复 文本相似  即可获取。

AI项目体验地址 https://loveai.tech

训练脚本 train.sh

批量测试脚本 predict.sh

利用模型进行单条语句测试 intent.py

chinese_L-12_H-768_A-12为预训练的相关模型和词典

下载地址

https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zip

下载后解压，放在项目根目录

data文件夹中为训练语料，验证语料，测试语料 数据集为LCQMC官方数据

参数说明：max_seq_length  sentence的最大长度（字） train_batch_size  batch_size的大小

max_seq_length = 50 

eval_accuracy = 0.87207 

test_accuracy = 0.86272

max_seq_length = 40 

eval_accuracy = 0.88093615 

test_accuracy = 0.86256

训练过程

640?wx_fmt=png

阅读过本文的人还看了以下：

不断更新资源

深度学习、机器学习、数据分析、python

 搜索公众号添加： datayx  

640?wx_fmt=jpeg

长按图片，识别二维码，点关注

AI项目体验

https://loveai.tech

640?wx_fmt=png

【ML】谷歌发布的文本语义匹配模型BERT：谁在背后说了算？
AI天才研究院
08-21 359
自然语言处理（NLP）领域近年来发展迅速，其中文本语义匹配是众多NLP任务的基础，例如问答系统、信息检索、机器翻译等。传统的文本匹配方法大多基于字面相似度，难以捕捉深层的语义信息，效果有限。而随着深度学习的兴起，研究者开始探索利用神经网络来学习文本的语义表示，并取得了显著进展。
【自然语言处理（NLP）】基于ERNIE语言模型的文本语义匹配
m0_54754302的博客
09-01 3353
【自然语言处理（NLP）】基于ERNIE语言模型的文本语义匹配，基于百度飞桨开发，参考于《自然语言处理实践》所作。
利用BERT做语义匹配
searobbers_duck的博客
01-10 8827
github连接 启动bert服务 bert-serving-start -model_dir ./model/chinese_L-12_H-768_A-12/ -max_seq_len 50 qs_matching 中试验的匹配算法利用了bert-as-service提供的模型； 代码中列举了如下需要匹配的类型： choice_map = { 'WHO': ['哪位?','你是哪位?...
【深度学习应用】基于Bert模型的中文语义相似度匹配算法[离线模式]
有朋自远方来，不亦乐乎。
10-16 5001
【代码】基于Bert模型的中文语义相似度匹配算法（离线模式）
基于BERT的中文情感分析
weixin_41688410的博客
01-30 1297
BERT作为一种强大的预训练语言模型，能够捕捉文本的丰富语义信息，为情感分析提供了强大的基础支持。借助Hugging Face的transformers库，我们只需为BERT“微调”一下，就能让它精准捕捉中文文本中的情绪脉络。本文详细的描述了整个神经网络从数据准备到训练的全过程，可以更好的理解模型的架构，以及如何来做一个自己的下游任务。
BERT模型文本语义匹配训练尝试
qq_43732303的博客
04-06 1040
运行的是BERT模型的run_classifier.py，对于相应的文件路径根据自己的情况进行修改，如果用CPU进行训练需要将其中的tran_batch_size和num_train_epochs的值减小，num_train_epochs为1,2,3中的一个即可。下载GLUE数据集中的MRPC语料库（根据需要选择相应的语料库进行下载），官网下载网址为，不推荐官网下载，可以通过下面分享的链接进行下载。点击pycharm的运行下的编辑配置，将上面的内容复制到parameter中，并进行相应修改。
基于Bert的语义相关性建模
weiyaner的博客
03-16 4148
文章目录搜索相关性定义字面相关性语义相关性1 传统语义相关性模型2 深度语义相关性模型基于表示的匹配sentence representation基于交互的匹配sentence interaction两种方法的优缺点比较基于Bert的语义相关性建模1 基于表示的语义匹配——Feature-based思想缺点：2 基于交互的语义匹配——Finetune—basd3 基于BERT优化美团搜索核心排序相关性的技术架构图 搜索相关性定义 在搜索场景中，相关性定义如下： 对于给定的query和候选Doc，判断二者之
基于bert的语义匹配_构建基于BERT的语义搜索系统…针对“星际迷航”
weixin_26752765的博客
09-04 1043
基于bert的语义匹配If you read my previous article on Towards Data Science you’ll know I’m a bit of a Star Trek nerd. There’s only one thing I like more than Star Trek, and that’s building cool new stuff with...
【自然语言处理】BERT系列模型-详解
2201_75415080的博客
01-16 1497
BERT是2018年10月由Google AI研究院提出的一种预训练模型.BERT的全称是Bidirectional Encoder Representation from Transformers.
基于BERT的语义分析实现（论文复现）
wei_shuo的博客
10-14 1386
基于BERT的语义分析实现（论文复现）
入自然语言处理的门实现两个句子在语义上是否相同
二分掌柜的
09-08 1032
入自然语言处理的门实现两个句子在语义上是否相同 flyfish 一个使用模型进行序列分类的示例，以确定两个序列是否互为转述或者解释。 代码实现 from transformers import AutoTokenizer, AutoModelForSequenceClassification import torch tokenizer = AutoTokenizer.from_pretrained("bert-base-cased-finetuned-mrpc") model = AutoModelFo
基于深度学习的短文本语义相似度计算
12-21
基于深度学习的短文本语义相似度计算，通过深度学习的思想计算语义相似度
Bert-TextMatching：基于Transformer的语义匹配利器
gitblog_00011的博客
03-29 820
Bert-TextMatching：基于Transformer的语义匹配利器 去发现同类优质开源项目:https://gitcode.com/ 是一个开源项目，它利用了深度学习领域的热门模型BERT（Bidirectional Encoder Representations from Transformers）进行文本匹配任务。该项目旨在帮助开发者和研究者更方便地实现和应用BERT模型于语义相似度...
探秘BERT语义相似度计算：BertSimilarity开源项目解析与应用
gitblog_00041的博客
06-07 532
探秘BERT语义相似度计算：BertSimilarity开源项目解析与应用 去发现同类优质开源项目:https://gitcode.com/ BERT（Bidirectional Encoder Representations from Transformers）模型自推出以来，已经在自然语言处理领域引起了广泛的关注。它的强大之处在于能够理解和捕捉文本的深层语义信息。现在，有一个开源项目——Ber...
BERT预训练模型简单应用（中文句子向量相关性分析）
陆海潘江的博客
02-16 8907
GoogleBERT预训练模型在深度学习、NLP领域的应用已经十分广泛了，在文本分类任务达到很好的效果。相比传统的词嵌入word2vec、golve，使用bert预训练得到的效果有更好地提升。这篇不会很深入复杂地分析bert的原理以及高级应用，而是从零开始，定位于初学者对BERT的简单认识和应用，使用bert框架bert-as-server（CS架构）。
Sentence-BERT 语句相似性、sentence embeddings
zephyr_wang的博客
08-08 1796
1 简介 BERT在语义文本相似任务上需要输入句子对（两个句子），这会引起巨大的计算开销。如在n=10000个句子中找到相似的句子对，BERT要进行n*(n-1)/2=49995000次预测计算，在单个V100 GPU上，需要运行65小时。即BERT的这种结构使其在不适合语义相似搜索任务上，以及聚类这种非监督任务上。 本文提出Sentence-BERT（SBERT），预训练BERT的一个修改版本，使用联体或者三元网络结构来获得语义上有意义的sentence embeddings，可以使用cosine-sim
【Bert】（六）句子关系判断--源码解析（bert基础模型）
mjiansun的专栏
03-04 3091
bert基础模型 bert模型后处理 损失 优化器
基于bert的文本匹配任务（二）
donruo的博客
05-27 3408
文本匹配任务是nlp中非常常见的任务，最常用的场景包括文本搜索、智能客服、推荐等。简单的文本匹配算法有字面匹配，包括词频，ngram等，基本上通过tf-idf，ngram等算法统计词频，得到句子的数值向量，然后进行距离计算，得到文本的距离数值，距离越小则代表文本之间的相似度越高。但是通过词频统计得到的句子向量有两个弊端：其中之一是由于词的类别太多，得到的向量为稀疏向量，维度太高；其二，词频的匹配基本都是字面意义上的匹配，相同的词出现越多代表两个文本越相似，忽视了句子本身的语义信息，具有一定的局限性。后续出现
探索Glyce：中文语义增强大模型，开启自然语言处理新旅程
gitblog_00054的博客
04-20 523
探索Glyce：中文语义增强大模型，开启自然语言处理新旅程 glyce项目地址:https://gitcode.com/gh_mirrors/gl/glyce 是一个由Shannon.AI开发的开源项目，旨在提升中文自然语言处理（NLP）任务的性能。该项目的核心是一个大规模预训练的语言模型，它结合了汉字、词语和字符级别的表示，以增强对中文语义的理解。 技术分析 Glyce模型采用了Transfo...
BERT 模型
最新发布
03-13
<think>好的，用户想要了解BERT模型的介绍及应用。首先，我需要根据系统级指令来组织回答。记得用中文，数学公式用$...$或$$...$$格式，还要生成相关问题。用户可能对BERT的基本原理、技术特点和应用场景感兴趣。 首先，BERT是什么？它是Google在2018年提出的预训练语言模型，基于Transformer架构。需要解释它的双向性和预训练-微调模式。这里可以提到Masked Language Model（MLM）和Next Sentence Prediction（NSP）这两个预训练任务，说明它们的作用。例如，MLM通过随机遮盖单词让模型预测，促进上下文理解；NSP则让模型判断两个句子是否连续，增强句子间关系捕捉。 然后，BERT的技术优势。双向上下文编码是关键，不同于之前的单向模型如GPT。此外，Transformer的自注意力机制可以并行处理序列，提高效率。这里需要引用到提供的参考资料，比如引用[3]提到的深度双向架构的推广。还要提到BERT的通用性，适用于多种NLP任务，如分类、问答等。 接下来是应用场景。需要分点列举，比如文本分类、问答系统、命名实体识别、语义相似度计算。每个应用举一个例子，比如在问答中使用BERT提取答案，或者在分类任务中微调模型。这里可以参考引用[2]中的实现示例，说明如何用Python和TensorFlow构建分类模型，并扩展到其他任务。 然后，如何使用BERT。分步骤：1. 预训练模型下载，如Hugging Face的Transformers库；2. 微调，根据具体任务调整；3. 应用部署。可能需要提到一些代码示例，比如加载模型和分词器，进行预测。这里可以引用引用[2]中的教程，指导用户如何开始。 注意事项部分，要提到计算资源需求高，数据质量的重要性，领域适应问题。例如，医疗领域可能需要继续预训练，提升效果。这部分可以结合引用[4]提到的AI技术应用，强调实际应用中的考量。 最后，生成相关问题。根据用户可能的后续疑问，比如优缺点、与GPT的区别、训练方法、实际项目步骤、中文任务处理等。这些问题需要覆盖理论和实践，帮助用户深入学习和应用。 检查是否符合格式要求，数学公式是否正确，引用是否正确添加。例如，在提到MLM和NSP时不需要公式，但如果有数学表达式，比如自注意力机制中的$QK^T/\sqrt{d}$，要使用$...$格式。同时确保每个引用在回答末尾有对应的标识，如[^3]对应引用[3]的内容。 现在整理回答结构，确保各部分清晰，使用适当的标题和分段，代码示例用代码块，相关问题单独列出。注意不要使用Markdown，保持自然的中文表达，同时遵循系统指令中的格式要求。</think>### BERT模型介绍及应用 #### 1. **BERT模型基本原理** BERT（Bidirectional Encoder Representations from Transformers）是Google于2018年提出的预训练语言模型，基于Transformer架构。其核心是通过**双向上下文编码**捕捉文本语义，突破传统模型（如GPT）的单向限制。 - **预训练任务**： - **Masked Language Model (MLM)**：随机遮盖输入文本中的部分单词（例如15%），模型通过上下文预测被遮盖的词。例如： $$ P(\text{遮盖词} | \text{上下文}) $$ - **Next Sentence Prediction (NSP)**：判断两个句子是否连续，提升模型对句子间关系的理解。 #### 2. **技术优势** - **双向性**：通过自注意力机制（Self-Attention）同时捕捉左右上下文信息。例如，单词$x_i$的编码可表示为： $$ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d}}\right)V $$ - **通用性**：同一预训练模型可适配多种任务（如分类、问答、NER等），通过微调实现高效迁移。 #### 3. **应用场景** 1. **文本分类**：如情感分析、新闻分类。 ```python from transformers import BertTokenizer, BertForSequenceClassification tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertForSequenceClassification.from_pretrained('bert-base-uncased') inputs = tokenizer("This is a positive sentence.", return_tensors="pt") outputs = model(**inputs) ``` 2. **问答系统**：从段落中提取答案（如SQuAD数据集任务）。 3. **命名实体识别（NER）**：识别文本中的人名、地点等实体。 4. **语义相似度计算**：判断两句话是否语义相近。 #### 4. **如何使用BERT** 1. **预训练模型下载**：通过Hugging Face的`transformers`库直接加载公开模型（如`bert-base-uncased`）。 2. **微调（Fine-tuning）**：根据任务调整输出层并训练。例如分类任务添加全连接层： ```python class BertClassifier(nn.Module): def __init__(self): super().__init__() self.bert = BertModel.from_pretrained('bert-base-uncased') self.classifier = nn.Linear(768, num_labels) ``` 3. **部署应用**：将微调后的模型集成到业务系统中（参考引用[2]中的实现流程）。 #### 5. **注意事项** - **计算资源需求**：BERT模型参数量大（Base版约110M），训练需GPU加速。 - **数据质量**：微调数据需与目标任务领域匹配，否则影响效果。 - **领域适应**：特定领域（如医疗、法律）可继续预训练（Domain-Adaptive Pretraining）[^4]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

datayx

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值