(二)基于文本的智能QA问答系统——项目进展1

最新推荐文章于 2023-04-07 18:39:07 发布
VIP文章 最新推荐文章于 2023-04-07 18:39:07 发布
阅读量698 收藏
点赞数
分类专栏： QA问答系统 文章标签： 自然语言处理 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_56927733/article/details/124056316
版权

面向问题的信息检索系统

1、查找关键词抽取算法

​ 尝试了textRank和FastTextRank抽取算法

​ 跑通了textRank

​ 实现截图：

在这里插入图片描述

2、实现段落分割

在这里插入图片描述

3、实现简单python和java通信

在这里插入图片描述

基于预训练模型的文档语义检索系统<

最低0.47元/天 解锁文章
m0_56927733
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
对文章中的关键词抽取textrank算法进行了性能和准确率优化
09-21
自动摘要，就是从文章中自动抽取关键句。人类对关键句的理解通常是能够概括文章中心的句子，而机器只能模拟人类的理解，即拟定一个权重的评分标准，给每个句子打分，之后给出排名靠前的几个句子。基于 TextRank 的自动文摘属于自动摘录，通过选取文本中重要度较高的句子形成文摘。 我们是要抽取关键句，因而是以句子为基本单位。使用 TextRank 提取摘要的整个过程如下： 预处理：将文本分割成句子 S1,S2,⋯,SmS1,S2,⋯,Sm，以句子为节点构建图。 计算句子相似度：对句子进行分词、取停用词等处理，以便于计算任意两个句子之间的相似度。将计算好的句子相似度作为两个句子构成的边的权值。 句子权重：根据公式，迭代传播权重计算各句子的得分。 抽取文摘句：得到的句子得分进行倒序排序，抽取重要度最高的 N 个句子作为候选文摘句。 形成文摘：根据字数或句子数要求，从候选文摘句中抽取句子组成文摘。
优化TextRank文本摘要，自定义关键词增加句子的权重
u013153465的博客
05-08 1374
关于textRank的原理，我这边就不多介绍了，搜一下很多，我也不确定自己是否讲的有那些大佬清楚，我们主要关注在优化点 痛点： 最近在做文章的摘要项目，一天的摘要量估计在300万篇左右，所以直接放弃了seq2seq的生成时摘要方法，主要还是使用深度学习，速度和精度都达不到要求了。采用textrank是一种解决办法 1. 目前使用FastTextRank, 速度上基本达到了要求， github链接：https://github.com/ArtistScript/FastTextRank 2. 但是我
文本摘要之Textrank优化方案
phynikesi的博客
01-10 1530
当前文本摘要的处理方式主要分为两类：抽取式和生成式。 抽取式文本摘要：即从篇章中抽取能够代表核心意思的信息，或者抽取关键词再连句，或者抽取完整句子。一般情况下，由词直接连成的句子，往往比较生硬，不够通顺，抽取的句子句义连贯， 能比较有效的代表篇章信息。生成的方法理论上可以兼顾关键词信息和句子的自然属性，如通顺，连贯。 抽取式文本摘要代表：TextRank方法，利用文章内部的联系计算出重要的词或句子。生成式文本摘要代表：Seq2eq +Attention，借助深度学习方法学习文章主要...
基于文档的智能问答系统
iRudder的专栏
04-07 1080
自己训练的智能问答系统
大规模语言训练模型应用，如何让文档问答系统快速拥有“高智商”？
亚马逊云科技专栏
04-07 859
信息爆炸的时代，更需要我们拥有高效获得文档信息的能力。随着人工智能技术的快速发展，智能问答系统已逐渐成为提升这一能力的重要手段之一。2022年以来，以 GPT-3 模型为代表的大规模语言模型能力的不断提升，为智能文档问答带来了新的机遇，前不久 GPT-4 模型的震撼发布更是再次颠覆人们的认知。GPT 爆火后，人们往往聚焦于其巨大的模型和令人惊叹的自然语言生成能力，而少有人谈到如此具体的技术解析。近...
人工智能-项目实践-问答系统-基于多搜索引擎和深度学习技术的自动问答.zip
12-28
人工智能-项目实践-问答系统-基于多搜索引擎和深度学习技术的自动问 使用方法 测试环境为windows7 + Python2.7(Anaconda2) 需要额外安装的Python包有： pip install jieba pip install aiml pip install lxml pip ...
人工智能-项目实践-问答系统-COVID-2019 中文知识问答系统.zip
12-28
人工智能-项目实践-问答系统-COVID-2019 中文知识问答系统 环境 Python 3.6+ Apache Jena Fuseki SPARQLWrapper refo jieba 数据来源 (转换后的RDF数据已上传至本仓库，数据使用说明移步data) OpenKG COVID-QA...
智能问答系统python实现
12-04
基于知识图谱的智能问答系统python实现（复旦大学论文基于qa语料和知识库的问答系统）_python 智能问答,python 智能问答系统-机器学习代码类资源本代码实现是基于python实现的基于复旦大学崔万云博士的learing ...
毕设&课程作业_python 智能问答系统QA的数据处理.zip
最新发布
01-31
计算机类毕业设计、课程作业，系统源码！！！
基于自动生成知识库的智能问答系统python源码+项目说明+数据+超详细注释.tar
11-16
基于自动生成知识库的智能问答系统python源码+项目说明+数据+超详细注释.tar 说明 首先需保证机器拥有英伟达显卡,供tensorflow平台使用 电脑配置： Acer笔记本 CPU Inter Core i5-6200U GPU NVIDIA GeForce ...
改进版textrank关键词提取，自动摘要程序
08-12
简易关键词提取，自动摘要代码，运行速度快
论文研究-一种基于TextRank的单文本关键字提取算法.pdf
07-22
作为一种经典的文本关键字提取和摘要自动生成算法，TextRank将文本看做若干单词组成的集合，并通过对单词节点图的节点权值进行迭代计算，挖掘单词之间的潜在语义关系。在TextRank节点图模型的基础上，将马尔可夫状态转移模型与节点图相结合，提出节点间边权为条件概率的新模型生成算法TextRank_Revised。通过对有标记和无标记的验证集进行验证，证明新的算法在不提升时间复杂度的前提下，通过计算单文本得出的单词排序结果相较于原TextRank算法更加吻合人工对文档的关键字提取结果。
TextRank, TextRank算法提取关键词的Java实现.zip
09-18
TextRank, TextRank算法提取关键词的Java实现
（四）基于文本的QA问答系统——biencoder方法
Simonsdu的博客
04-09 1183
biencoder方法 加载预训练模型 我们使用Muennighoff/SGPT-125M-weightedmean-msmarco-specb-bitfit预训练模型。 tokenizer = AutoTokenizer.from_pretrained("Muennighoff/SGPT-125M-weightedmean-msmarco-specb-bitfit",cache_dir = './SGPT-125M-weightedmean-msmarco-specb-bitfit') model = A
使用 txtai 进行抽取式 QA
发呆的比目鱼的博客
12-21 438
使用 txtai 进行抽取式 QA 本教程系列将涵盖txtai的主要用例，这是一个 AI 驱动的语义搜索平台。该系列的每章都有相关代码，可也可以在colab 中使用。 colab 本文在之前介绍的基础上，扩展到构建提取式问答系统。 安装依赖 安装txtai和所有依赖项。 pip install txtai 创建 Embeddings 和 Extractor 实例 Embeddings 实例是 txtai 的主要入口点。Embeddings 实例定义了用于标记文本段并将其转换为嵌入向量的方法。 Extrac
复习记录：PageRank 和 TextRank
IT路上的学步者
07-21 530
TextRank 实际就是 PageRank 2.0 将PageRank 从网页链接拓展到了 文本处理上。从有向图无权重图变成了无向有权图。 我们想了解 TextRank 就可以想从 PageRank 看起。 PageRank PageRank算法可谓是大名鼎鼎了，在IT届要是没听过的人也是极少了。 这是一个用于评估网页重要度排序的算法。 ...
TextRank原理解释
互联网学习中的小白
07-19 4210
博客上有很多讲TextRank的，但是一直对迭代过程的理解不够深入，可能各位博主自己理解到位了，但是对我反映慢的来说，真正理解它还远远没有达到。下面是我自己的理解。望做关键词提取的友友们互相交流
（七）基于文本的QA问答系统——实践过程
Simonsdu的博客
06-12 923
本文检索了基于预训练模型的信息检索的两种实现方法。
刘焕勇基于医疗知识图谱的智能问答系统项目的目录结构
05-17
以下是刘焕勇基于医疗知识图谱的智能问答系统项目的目录结构： ``` ├── app │ ├── __init__.py │ ├── config.py │ ├── controllers │ │ ├── __init__.py │ │ └── controller.py │ ├── models │ │ ├── __init__.py │ │ ├── qa_model.py │ │ └── kg_model.py │ ├── static │ │ └── css │ │ ├── bootstrap.min.css │ │ └── style.css │ ├── templates │ │ ├── index.html │ │ └── result.html │ └── utils │ ├── __init__.py │ ├── kg_utils.py │ ├── qa_utils.py │ └── triple_utils.py ├── data │ ├── entity2id.txt │ ├── kg.txt │ ├── relation2id.txt │ ├── test_questions.json │ ├── train_questions.json │ ├── valid_questions.json │ └── vocab.txt ├── logs ├── main.py ├── README.md ├── requirements.txt └── saved_models ├── kg_model.bin └── qa_model.bin ``` 其中，`app`文件夹存放问答系统的代码，包括配置文件、控制器、模型、静态文件和模板文件等；`data`文件夹存放知识图谱和问题数据等；`logs`文件夹存放日志文件；`main.py`是启动文件；`README.md`是项目说明文档；`requirements.txt`是项目依赖的Python包列表；`saved_models`文件夹存放训练好的模型。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值