(二)基于文本的智能QA问答系统——项目进展1

最新推荐文章于 2024-06-30 19:34:18 发布
最新推荐文章于 2024-06-30 19:34:18 发布
阅读量731 收藏
点赞数
分类专栏： QA问答系统 文章标签： 自然语言处理 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_56927733/article/details/124056316
版权
本文介绍了智能问答系统的开发进展，包括面向问题的信息检索系统、基于预训练模型的文档语义检索系统和问题库生成。在信息检索中，实现了关键词抽取算法、段落分割和Python-Java通信。在语义检索方面，利用hugging face模型进行加载和测试，发现biencoder方法需优化。同时，学习了序列生成问题的运作模式和评估指标。未来将优化模型，确保多角度、多方式提问，并解决服务器和内存溢出问题。
摘要由CSDN通过智能技术生成

面向问题的信息检索系统

1、查找关键词抽取算法

​ 尝试了textRank和FastTextRank抽取算法

​ 跑通了textRank

​ 实现截图：

在这里插入图片描述

2、实现段落分割

在这里插入图片描述

3、实现简单python和java通信

在这里插入图片描述

基于预训练模型的文档语义检索系统

1、实现hugging face预训练模型加载

在这里插入图片描述

2、crossencoder方法实现

注意分数越大，相关度越高，第三条相关度最高，经人工检验符合要求。

最低0.47元/天 解锁文章
m0_56927733
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
（二）基于文本的QA问答系统——深度检索模型概述
Simonsdu的博客
03-20 641
深度检索模型 概述 该部分用于基于上下文信息实现语境对称检索和语境非对称检索。 名词解释 语境检索semantic search指的是结合上下文语境信息的检索。 关于对称检索和非对称检索在文章SGPT: GPT Sentence Embeddings for Semantic Search中有如下解释： 简而言之对称检索指的是query与doc的结构和语义相似，找到与query最相关的若干doc； 非对称检索指的是query与doc结构与语义差异较大，找到与query最相关的若干doc。 动机 预训练语言
（三）基于文本的QA问答系统——SGPT：GPT Sentence Embeddings for Semantic Search解读
Simonsdu的博客
03-26 2923
SGPT：GPT Sentence Embeddings for Semantic Search解读 文章目录SGPT：GPT Sentence Embeddings for Semantic Search解读概述先序知识预训练模型两大范式浅层词嵌入预训练编码器GPTPrompt文章解读SGPT Cross-Encoder Asymmetric SearchSGPT Bi-Encoder Asymmetric Search存在的问题1、中文预训练GPT模型十分匮乏。2、怎样算是一个好的Prompt 概述 该
一文带你学会关键词提取算法---TextRank 和 FastTextRank实践
最新发布
mrweiqk的博客
06-30 598
一文带你学会关键词提取算法---TextRank 和 FastTextRank实践
（九）基于文本的QA问答系统——总结回顾
Simonsdu的博客
06-12 315
总结回顾项目实训——基于文本的智能问答系统
（六）基于文本的QA问答系统——前后端介绍
Simonsdu的博客
06-12 497
前后端介绍
基于文本语义的智能问答机器人——工业应用
xiaomi5410的博客
10-31 1004
基于文本语义的智能问答-Bert
基于中文的智能问答系统研究.pdf
09-07
本文介绍了问答系统的研究背景、实现方法的不同和优缺点，并提出了基于QA对的实现和基于自由文本的应用，探讨了未来关于中文智能问答系统的研究方向和创新思路。 智能问答系统的实现可以分为两大类：基于规则的实现...
人工智能-项目实践-问答系统-基于多搜索引擎和深度学习技术的自动问答.zip
12-28
人工智能-项目实践-问答系统-基于多搜索引擎和深度学习技术的自动问 使用方法 测试环境为windows7 + Python2.7(Anaconda2) 需要额外安装的Python包有： pip install jieba pip install aiml pip install lxml pip ...
基于自动生成知识库的智能问答系统设计.pdf
09-08
基于自动生成知识库的智能问答系统设计 本文设计了一种基于自动生成知识库的智能问答系统，旨在解决当前智能问答系统中存在的问题，如问句语义表征准确性不高、问答对训练数据规模小等问题。该系统通过模型构建，...
毕设&课程作业_python 智能问答系统QA的数据处理.zip
01-31
Python 智能问答系统（QA）是一种利用自然语言处理技术来理解和回答用户问题的软件应用。在构建这样的系统时，数据处理是至关重要的一步，它涵盖了数据收集、预处理、特征提取、模型训练和评估等多个环节。在这个...
人工智能-项目实践-问答系统-COVID-2019 中文知识问答系统.zip
12-28
人工智能-项目实践-问答系统-COVID-2019 中文知识问答系统 环境 Python 3.6+ Apache Jena Fuseki SPARQLWrapper refo jieba 数据来源 (转换后的RDF数据已上传至本仓库，数据使用说明移步data) OpenKG COVID-QA...
对文章中的关键词抽取textrank算法进行了性能和准确率优化
09-21
自动摘要，就是从文章中自动抽取关键句。人类对关键句的理解通常是能够概括文章中心的句子，而机器只能模拟人类的理解，即拟定一个权重的评分标准，给每个句子打分，之后给出排名靠前的几个句子。基于 TextRank 的自动文摘属于自动摘录，通过选取文本中重要度较高的句子形成文摘。 我们是要抽取关键句，因而是以句子为基本单位。使用 TextRank 提取摘要的整个过程如下： 预处理：将文本分割成句子 S1,S2,⋯,SmS1,S2,⋯,Sm，以句子为节点构建图。 计算句子相似度：对句子进行分词、取停用词等处理，以便于计算任意两个句子之间的相似度。将计算好的句子相似度作为两个句子构成的边的权值。 句子权重：根据公式，迭代传播权重计算各句子的得分。 抽取文摘句：得到的句子得分进行倒序排序，抽取重要度最高的 N 个句子作为候选文摘句。 形成文摘：根据字数或句子数要求，从候选文摘句中抽取句子组成文摘。
关键词提取算法 textRank python实现
11-21
python实现的textRank算法，用于文本无语料训练下的关键词提取
使用 txtai 进行抽取式 QA
发呆的比目鱼的博客
12-21 463
使用 txtai 进行抽取式 QA 本教程系列将涵盖txtai的主要用例，这是一个 AI 驱动的语义搜索平台。该系列的每章都有相关代码，可也可以在colab 中使用。 colab 本文在之前介绍的基础上，扩展到构建提取式问答系统。 安装依赖 安装txtai和所有依赖项。 pip install txtai 创建 Embeddings 和 Extractor 实例 Embeddings 实例是 txtai 的主要入口点。Embeddings 实例定义了用于标记文本段并将其转换为嵌入向量的方法。 Extrac
（四）基于文本的QA问答系统——biencoder方法
Simonsdu的博客
04-09 1219
biencoder方法 加载预训练模型 我们使用Muennighoff/SGPT-125M-weightedmean-msmarco-specb-bitfit预训练模型。 tokenizer = AutoTokenizer.from_pretrained("Muennighoff/SGPT-125M-weightedmean-msmarco-specb-bitfit",cache_dir = './SGPT-125M-weightedmean-msmarco-specb-bitfit') model = A
基于文档的智能问答系统
iRudder的专栏
04-07 1239
自己训练的智能问答系统
文心ERNIE Bot SDK+LangChain：基于文档、网页的个性化问答系统
PaddlePaddle
12-08 1058
文心 ERNIE Bot SDK 结合Lang Chain构建问答系统。
TextRank原理解释
互联网学习中的小白
07-19 4272
博客上有很多讲TextRank的，但是一直对迭代过程的理解不够深入，可能各位博主自己理解到位了，但是对我反映慢的来说，真正理解它还远远没有达到。下面是我自己的理解。望做关键词提取的友友们互相交流
（七）基于文本的QA问答系统——实践过程
Simonsdu的博客
06-12 1009
本文检索了基于预训练模型的信息检索的两种实现方法。
刘焕勇基于医疗知识图谱的智能问答系统项目的目录结构
05-17
以下是刘焕勇基于医疗知识图谱的智能问答系统项目的目录结构： ``` ├── app │ ├── __init__.py │ ├── config.py │ ├── controllers │ │ ├── __init__.py │ │ └── controller.py │ ├──...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值