FAQ问答项目代码细节————BM25+BERT句子相似度

最新推荐文章于 2024-07-07 00:31:42 发布
最新推荐文章于 2024-07-07 00:31:42 发布
阅读量2.2k 收藏 6
点赞数 2
分类专栏： 学习笔记 文章标签： FAQ问答系统 BERT相似度 BM25
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37228811/article/details/103452952
版权
本文介绍了如何建立FAQ问答库，利用BM25和BERT模型进行句子相似度计算。首先，建立包含多个问题形式的FAQ库，接着初始化BM25，计算相关值并构建倒排索引。当输入问句时，通过分词和倒排索引找到相关文档，计算BM25和BERT相似度，选取最匹配的回答。最后，概述了BERT相似度模型的训练过程。
摘要由CSDN通过智能技术生成

一、建立FAQ库

一个问题三个形式，

数据增强之后问题和答案一一对应，19MB的ask.txt，答案保存在answer0-424中，每个文件1000个回答。节省处理时间。

二、BM25初始化

目的：计算bm25公式中需要的值

1、self.titles  <list> len=424043 eg：['什么是发票？','发票是什么？','发票的概念']

2、self.segTitles <list> len=424043 eg:[ ['什么', '是', '发票'],['发票', '是', '什么'], ['发票', '的', '概念']]

3、self.df <dict> len=28387 eg:{"什么":131898,"是":136367,"发票":13734}

4、self.idf <dict> len =28387 eg:{"什么":0.7952192784285401,"是":0.7464831376894789,"发票":3.3970008374

最低0.47元/天 解锁文章
关平安
关注
专栏目录
【解决方案】RAG实践：ES混合搜索BM25+kNN(cosine)
天然玩家的博客
07-07 1729
本系列分为两大部分：**实践**和**理论**。 **先讲**实践，**应对快速开发迭代**，可快速上手实践； **再讲**理论，**应对优化**，如归一化。
文本相似度计算-bm25算法详解
sir_TI的博客
03-04 3091
1 bm25 说到bm25算法，那么就不得不说一下TF-IDF了，关于TF-IDF，解释如下： 1.1 TF-IDF介绍 TF：Term Frequency即词频，是文本中某个词出现的次数 IDF:Inverse Document Frequency即逆文本频率，那么关键是理解IDF的含义,首先我们给出IDF的计算公式： ...
【短文本相似度】传统方法BM25解决短文本相似度问题.pdf
09-18
【短文本相似度】传统方法BM25解决短文本相似度问题.pdf
揭秘BERT背后的魔力：语义相似度算法深度剖析
沛哥儿的专栏
07-02 1701
BERT模型是由GoogleAI研究院于2018年提出的，一经问世便引起了业界的广泛关注。该模型通过大量的语料库进行预训练，可以学习到丰富的语言知识和上下文信息。BERT最大的特点在于其双向性，即同时考虑了文本的上文和下文信息，从而能够更准确地理解文本的含义。BERT是一种基于Transformer的双向编码器表示模型，它通过预训练的方式学习了丰富的语言表示。BERT模型在训练过程中使用了大量的无标注文本数据，通过自监督学习的方式，学习到了文本中词、短语和句子的上下文表示。
BM25实现两个句子的相似度
bingheshidai_1234的博客
06-06 2231
代码：https://gitee.com/zhoubingbing/BM25 参考链接：https://blog.csdn.net/u010483897/article/details/83010426
MS MARCO Passage Ranking Leaderboard —— BM25 + monoBERT + duoBERT + TCP
qq_43183860的博客
04-13 2274
    本文对MS MARCO Passage Ranking 榜单的 BM25 + monoBERT + duoBERT + TCP 进行解读，原文地址请点击此处。 1. 背景介绍     这个模型在MS MARCO上的最好成绩是0.38，和目前的SOTA 0.45有一定差距，但由于作者 Rodrigo Nogueira 等人在此前的一篇论文《Passage Re-ranking with BERT》中首次将BERT用于检索中的重排序任务，是将BERT作为重排序器的鼻祖，因此他的 BM25 + monoB
基于词向量的faq问答（附代码）
weixin_64017116的博客
06-15 162
模型保存可以有很多种格式，根据格式的不同可以分为2种，一种是保存为.model的文件，一种是非.model文件的保存。这两种方式的加载在获取词向量的时候应该是差别不大，区别就是.model可以继续训练，但是考虑到存在这样的场景，模型训练以后，会有新的语料，也就存在新词，这个时候新词用。里面的每一个question分词，并且过滤掉停用词，并把过滤之后的词放到。并不可视，它们的内存占用要少一些，加载的时间要多一点。相当于用户提出的问题，按照上面的方式进行分词，文件中的问答卷，将其中的。(貌似这样的，反正就是。
代码生成FAQ（翻译）
01-10 1297
原文见我在博客园的blog：http://www.cnblogs.com/dahuzizyd/archive/2006/01/26/323637.html终于在下班前赶完了，略去了一些不重要的地方。感觉很多地方都没有翻译明白，不过倒是自己在翻译的过程中有了更多的理解。翻的不好，大家见谅了，还请大家多多指教。先祝大家新年好原文见：Code Generation FAQ  注：本文翻译未经过任
【解决方案】RAG理论：ES混合搜索BM25+kNN(cosine)以及归一化
最新发布
天然玩家的博客
07-07 1429
（1）ES中如何通过BM25计算关键词搜索分数； （2）kNN如何通过consine计算语义/向量搜索**最终**分数，不是直接使用consine距离； （3）**混合搜索最终得分**是如何计算的，如何进行归一化优化。
Lucene示例 BM25相似度计算
04-09
本文将深入探讨Lucene示例中的BM25相似度计算，旨在帮助初学者理解如何利用Lucene 4.7.1版本构建索引、执行查询，并比较默认的TF-IDF相似度与BM25相似度的区别。 首先，我们需要了解什么是Lucene。Lucene是一个由...
基于FAQ问答系统的设计与实现
01-11
关于FAQ问答系统的设计与实现，包括索引结构、候选问题集的建立。以及相似度算法的实现等
FAQ管理全源代码源码整理
08-05
FAQ管理全源代码源码整理（解压密码：https://hao.360.cn/?src=lm&ls=n527fd66b97）
Siamese-based-BERT-FAQ-retrieval
03-30
基于暹罗语的BERT-FAQ检索
FAQ
03-20
网站 该网站是使用 （现代的静态网站生成器）构建的。测试 安装 yarn install 地方发展 yarn start 此命令将启动本地开发服务器并打开浏览器窗口。大多数更改都可以实时反映出来，而无需重新启动服务器。 建造 yarn build 此命令将静态内容生成到build目录中，并且可以使用任何静态内容托管服务进行服务。 部署方式 GIT_USER=<Your> USE_SSH=true yarn deploy 如果您使用GitHub页面进行托管，则此命令是构建网站并推送至gh-pages分支的便捷方法。
BERT-Embedding-Frequently-Asked-Question:使用BERT的基于常见问题的问答系统
05-01
BEFAQ BEFAQ(BERT Embedding Frequently Asked Question) 开源项目是好好住面向多领域FAQ集合的问答系统框架。 我们将Sentence BERT模型应用到FAQ问答系统中。开发者可以使用BEFAQ系统快速构建和定制适用于特定业务场景的FAQ问答系统。 BEFAQ的优点有： （1）使用了Elasticsearch、Faiss、Annoy 作为召回引擎 （2）使用了Sentence BERT 语义向量（Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks） （3）对同义问题有很好的支持 （4）支持多领域语料（保证了召回的数据是对应领域的，即使是同样的问题，也可以得到不同的答案。） （5）提供了根据当前输入提示联想问题（suggest）功能的接口 BEFAQ的框架结构如下图
搭建一个FAQ智能问答系统/服务
Neleuska的博客
01-29 4206
FAQ智能问答系统。 实现FAQ的问题-模板匹配功能。 部署轻量级的Web服务应用。
FAQ智能问答系统设计与实现
热门推荐
lerry的博客
04-02 1万+
FAQ（FAQ，frequently-asked questions）问答系统表示常见问题问答系统，常用于一些特定领域的智能客服，将用户经常问到的高频问答对索引起来，当新的提问命中时可以快速回答，准确而高效。 本文介绍一个简单的FAQ问答系统实现。基于检索和排序的两阶段框架，检索阶段基于Elasticsearch检索引擎、排序阶段基于语义匹配深度学习模型。后端基于SpringBoot系列框架。该系统实现了人机对话功能，可以进行单轮或者多轮的问答，同时提供了微服务版本，增加了一些知识库管理功能。
BERT为何无法彻底干掉BM25？？
夕小瑶科技说
06-28 281
文 | QvQ近些年来，相比传统检索模型，大规模预训练式transformers结构的引入在各类任务上都有显著的提升。而这种提升在不同的数据集上有着特殊的模型设置，而当前依旧无法充分理解这些模型为什么以及如何可以更好的工作。古人云：知己知彼，方能百战不殆。而现在的NN模型尚不能做到知己，又怎么进行下一步的升级迭代呢？今天让我们来看一下信息检索任务上,基于Bert的交叉编码...
bm25的python代码
05-17
以下是一个简单的BM25 Python实现，它计算查询字符串和文档集合之间的相似性得分。 ```python import math def bm25(query, document_set, k1=1.5, b=0.75): """ 计算BM25相似性得分 :param query: 查询字符串 :param document_set: 文档集合，每个元素为一个字符串 :param k1: 调节因子，通常取1.5 :param b: 调节因子，通常取0.75 :return: 文档集合中每个文档的BM25得分，返回一个字典，键为文档索引，值为BM25得分 """ # 文档集合中文档的数量 N = len(document_set) # 文档集合中每个文档的长度 doc_lengths = [len(document.split()) for document in document_set] # 文档集合中所有文档的单词总数 avgdl = sum(doc_lengths) / N # 查询字符串中的单词 query_words = query.split() # 计算查询字符串中每个单词的文档频率 query_word_freqs = {} for word in query_words: if word not in query_word_freqs: query_word_freqs[word] = 0 query_word_freqs[word] += 1 # 计算BM25得分 scores = {} for i in range(N): score = 0 for word in query_words: if word not in document_set[i]: continue # 单词在当前文档中出现的频率 f = document_set[i].split().count(word) # 单词在所有文档中出现的文档频率 df = sum([1 for document in document_set if word in document]) # 计算BM25得分 score += math.log((N - df + 0.5) / (df + 0.5)) * ((k1 + 1) * f) / (k1 * ((1 - b) + b * (doc_lengths[i] / avgdl)) + f) scores[i] = score return scores ``` 使用示例： ```python document_set = ['This is the first document', 'This is the second document', 'And this is the third one', 'Is this the first document?'] query = 'this is the query' scores = bm25(query, document_set) print(scores) ``` 输出： ``` {0: 0.8397822628026328, 1: 0.8397822628026328, 2: 0.3340204909260576, 3: 0.8397822628026328} ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值