6.4K+ Star！一个强大的本地知识库问答系统，支持多格式文件和跨语言检索，为企业提供高效、安全的数据洞察……

已于 2024-08-22 21:31:59 修改
阅读量225 收藏 7
点赞数 3
文章标签： 计算机视觉 深度学习 人工智能 检索 问答系统 知识库 语言模型
于 2024-08-21 21:04:44 首次发布
原文链接：https://mp.weixin.qq.com/s/U9PMR2vZg7utHElj5jVeyQ
版权

https://github.com/netease-youdao/QAnything

【阅读原文】跳转Github项目

转自AIGC创想者

项目简介

QAnything 是一个基于本地知识库的问答系统，它能够理解和回答基于任何类型文件的问题。

QAnything支持的文件格式非常广泛，包括PDF、Word、PPT、XLS、Markdown、Email、TXT、Image、CSV和Web链接等，这使得它能够适应多种不同的使用场景。

图片

适用场景

QAnything适合于需要处理和分析大量文档和数据的场景，如企业知识管理、学术研究、法律文档审查、市场分析等。

  1. 企业知识管理：企业可以利用QAnything构建内部知识库，员工通过自然语言问答的方式快速获取所需信息，提高工作效率。

  2. 学术研究：研究人员可以使用QAnything来管理和分析大量的学术论文、报告和数据集，快速找到研究中需要的信息。

  3. 法律文档审查：法律专业人士可以使用QAnything来审查和分析合同、法律文件等，确保文档的合规性和准确性。

  4. 市场分析：市场分析师可以利用QAnything分析市场报告、消费者反馈等，以获得有价值的市场洞察。

使用方法

QAnything项目的安装步骤分为几个主要部分，包括系统要求、Docker安装和纯Python环境安装。以下是详细的安装步骤：

系统要求

在开始安装之前，请确保您的系统满足以下最低要求：

  • Linux：推荐使用NVIDIA GPU（至少GTX 1050Ti，更好的选择是RTX 3090），并确保GPU内存至少为4GB（如果使用OpenAI API）。

  • NVIDIA驱动：版本至少为525.105.17。

  • Docker：版本至少为20.10.5。

  • Docker Compose：版本至少为2.23.3。

  • Git Large File Storage (LFS)：需要安装。

Docker安装

  1. 拉取QAnything仓库：

git clone https://github.com/netease-youdao/QAnything.git

  1. 进入项目根目录：

cd QAnything

  1. 根据提供的启动脚本和说明启动QAnything服务：

  • 默认在GPU 0上启动（如果使用OpenAI API，确保GPU内存至少为4GB）。

bash run.sh

  1. 指定GPU启动（可选）：

  • 对于Windows10/Windows11 WSL2用户，推荐使用以下命令启动：

# For Windows OS: Need to enter the **WSL2** environment.
# Step 1. Download the public LLM model (e.g., Qwen-7B-QAnything) and save to "/path/to/QAnything/assets/custom_models"
# (Optional) Download Qwen-7B-QAnything from ModelScope: https://www.modelscope.cn/models/netease-youdao/Qwen-7B-QAnything
# (Optional) Download Qwen-7B-QAnything from Huggingface: https://huggingface.co/netease-youdao/Qwen-7B-QAnything
cd QAnything/assets/custom_models
git clone https://huggingface.co/netease-youdao/Qwen-7B-QAnything

# Step 2. Execute the service startup command. Here we use "-b hf" to specify the Huggingface transformers backend.
cd ../../
bash ./run.sh -c local -i 0 -b hf -m Qwen-7B-QAnything -t qwen-7b-qanything

  • 对于GPU计算能力大于等于8.6且VRAM大于等于24GB的情况，可以使用多GPU启动：

bcd QAnything
bash ./run.sh -c local -i 0,1 -b default  # gpu ids: 0,1, Please confirm how many GPUs are available. Supports up to two cards for startup. 

  1. 体验应用：

  • 通过在Web浏览器中输入以下地址来访问前端界面：http://your_host:5052/qanything/

  • 如果需要访问API，请参考API地址：http://your_host:8777/api/

  1. 关闭服务（如果需要）：

  • 使用以下命令关闭服务：

bash close.sh

  1. 离线安装：

如果需要在没有网络的环境中安装QAnything，可以在有网络的机器上下载Docker镜像和代码，然后将镜像和代码复制到离线机器上，加载镜像并运行。

注：本文内容仅供参考，具体项目特性请参照官方 GitHub 页面的最新说明。

基于大语言模型的智能问答系统设计与实践【系列文章】
AI架构设计之禅
03-28 2127
随着人工智能技术的迅猛发展，智能问答系统在各行各业中得到了广泛应用。无论是智能客服、在线教育，还是智能助手，问答系统都在提升用户体验和服务效率方面发挥着重要作用。然而，传统的问答系统往往依赖于规则和模板，难以应对复杂多变的用户需求，且开发成本高，维护难度大。近年来，大规模预训练语言模型（Large Language Models, LLMs）的出现，为智能问答系统带来了新的解决方案。
大语言模型应用指南：自主Agent系统案例分析
AI天才研究院
05-07 1211
早期的语言模型主要基于统计方法，例如N-gram模型，其原理是根据文本中词语出现的频率统计来预测下一个词语。这类模型简单易于实现，但缺乏对语言深层语义的理解，表达能力有限。自主Agent是指能够在特定环境中自主感知、决策、行动的智能体。能够根据环境变化和自身目标自主做出决策和行动。能够从经验中学习，不断优化自身的行为策略。能够适应不同的环境和任务，具有较强的泛化能力。随着计算能力的提升和数据量的增长，未来将会出现更大规模、更强大的语言模型。
Anything本地知识库问答系统：基于检索增强生成式应用（RAG）两阶段检索、支持海量数据、跨语种问答
丨汀、的博客
01-22 2786
Anything本地知识库问答系统：基于检索增强生成式应用（RAG）两阶段检索、支持海量数据、跨语种问答
基于知识库的中文问答系统（biLSTM）
02-06
基于知识库的中文问答系统（biLSTM）
基于BERT模型的知识库问答(KBQA)系统
热门推荐
Chen_Meng_的博客
11-24 1万+
一、知识库KB-QA的介绍 参考链接：https://zhuanlan.zhihu.com/p/25735572 1、什么是知识库 “奥巴马出生在火奴鲁鲁。” “姚明是中国人。” “谢霆锋的爸爸是谢贤。” 这些就是一条条知识，而把大量的知识汇聚起来就成为了知识库。我们可以在wiki百科，百度百科等百科全书查阅到大量的知识。然而，这些百科全书的知识组建形式是非结构化的自然语言，这样的组织...
知识库上的问答系统：实体、文本及系统观点
happytofly的博客
08-03 2119
本文来自复旦大学博士崔万云在携程技术中心主办的深度学习Meetup上的主题演讲，分享了复旦大学研发的基于知识图谱的QA系统，包括了基于深度学习的QA研究。 QA系统用于回答人们以自然语言形式提出的问题，其在互联网、通信及医疗等领域获得显著的成功。其中，IBM研发的Watson系统就在与人类的答题比赛中获胜并首次获得100万美金奖励；苹果的Siri系统成功运行于iPhone之中，改变人与iPh...
基于BERT的知识库问答系统（KBQA）
weixin_43914692的博客
09-23 6637
基于BERT的知识库问答系统（KBQA） 简介 知识库问答系统主要要做的两点分别是识别问题中的实体和提取问题中我们需要从知识库中查找的属性，针对这两个方面我采用了NLP预训练模型BERT分别训练了基于BERT-LSTM-CRF的命名实体识别模型（框架来源于https://blog.csdn.net/macanv/article/details/85684284），基于BERT的分类模型，用于匹配问...
大语言模型原理与工程实践：数据瓶颈问题分析和解决方法原理与应用
AI天才研究院
06-25 392
在过去的几年里，随着深度学习技术的飞速发展，大规模语言模型（Large Language Models, LLMs）在自然语言处理（Natural Language Processing, NLP）领域取得了显著的进展。这些模型通过在大规模无标签文本数据上进行预训练，学习到了丰富的语言知识和常识，并在各种NLP任务中表现出色。然而，随着模型规模的不断扩大和应用场景的不断拓展，数据瓶颈问题日益凸显，成为制约大语言模型进一步发展的关键因素。
大语言模型应用指南：从人工智能的起源到大语言模型
最新发布
AI天才研究院
06-27 967
人工智能（Artificial Intelligence，AI）自诞生以来，一直是计算机科学领域的重要研究方向。早期的AI系统主要依赖于专家知识和规则库，通过逻辑推理和符号计算来解决问题。然而，这种基于规则的系统在处理复杂和多变的现实世界时，表现出了明显的局限性。随着数据量的爆炸式增长和计算能力的提升，研究者们开始探索基于数据驱动的机器学习方法，尤其是深度学习（Deep Learning），从而引发了AI领域的革命性进展。
基于知识图谱的问答系统
11-09
细致介绍了一种基于知识图谱的问答系统，构建了一个推理模型，在建模问题回答过程中是十分有效的。
聊天机器人基础知识库
02-24
web开发智能机器人需要的基础问答知识库
大语言模型在金融风控中的应用
AI天才研究院
03-09 528
金融风控是金融机构确保其资产安全和业务稳定的重要手段。随着金融市场的复杂性和交易量的增加，传统的风控方法已难以应对日益增长的风险。近年来，随着大数据和人工智能技术的快速发展，金融风控领域逐渐引入了新的技术手段，其中大语言模型的应用尤为引人注目。大语言模型（Large Language Models, LLMs）通过在大规模文本数据上进行预训练，具备了强大的语言理解和生成能力。这些模型不仅能够处理结构化数据，还能从非结构化文本中提取有价值的信息，从而为金融风控提供了新的解决方案。
基于本地知识库的智能问答系统架构
qq_44993593的博客
09-08 426
智能问答系统的核心可以分为4部分。1）知识库构建。2）检索。3）后处理。4）推理。知识库构建：知识库中可以包含多个向量数据库和知识图谱等，核心是怎么建立索引，使得检索时能够将与问题相关的知识给检索出来。检索：从知识库中的多个库或者知识图谱中检索出与问题相关的信息。后处理：从知识库中检索出来的信息可能是冗余的，而且可能不符合我们希望的格式要求，因此，我们需要对这些数据进行过滤，格式化等操作。推理： 基于检索出来的知识进行推理，让输出能够回答用户的问题，目前主要使用大模型进行推理。
基于条件知识库（CKB）的对话问答系统--论文阅读笔记
呜呜哈的博客
05-28 4074
本文是‘’Learning to Extract Conditional Knowledge for Question Answering using Dialogue‘’论文的阅读笔记。最近开始看QA方面的一些论文，刚入门，很多东西都不太懂，感觉很吃力，慢慢坚持吧==传统的基于知识库（KB）的问答系统，有三元组 （Subject， predicate， Object）组成，缺点在于当前面两者相同但
基于Bert的知识库智能问答系统
a1105425455的博客
04-21 5049
利用预训练的 BERT模型来实现自然语言理解和问答，同时将知识库和问答系统进行整合，从而能够对用户提出的问题进行准确、高效的回答。该系统通过将问题和知识库中的实体和关系进行匹配，从而找到最佳答案。具体来说，本系统先将三个属性：实体（问题），实体关系（实体属性），实体（答案）存储进 mysql 数据库。当提出问题时，用 BertCrf模型来识别出问题中所包含的实体，识别出实体之后就可以进行数据库的查询；识别出实体后就需要进行实体与属性的连接，利用BertForSequenceClassification模型进
知识库问答系统（KBQA）初探
m0_63642362的博客
12-26 2833
基于Paddle框架的KBQA系统，可以利用知识图谱回答自然世界简单的单跳问题。
PyTorch强化学习——PyTorch基础详解
AAI666666的博客
02-02 1275
我们将使用 PyTorch 作为实现强化学习算法的数值计算库。PyTorch 是 Facebook 开发的科学计算和机器学习库，张量 (Tensor) 是 PyTorch 中的核心数据结构，类似于 NumPy 中的 ndarray。
C语言程序设计教程（第三版）课后习题6.4 求Sn=1!+2!+3!+4!+5!+…+n!之值，其中n是一个数字。
12-02
这道题目是要求Sn=1!+2!+3!+4!+5!+…+n!之值，其中n是一个数字。下面是两种C语言程序设计的解法： 方法一： ```c #include "stdio.h" int main(int argc, char const *argv[]) { int i, n; long long int Sn = 0, factor = 1; scanf("%d", &n); for(i = 1; i <= n; i++) { Sn += factor; factor = factor * (i + 1); } printf("%lld\n", Sn); return 0; } ``` 方法二： ```c #include <iostream> using namespace std; int main() { long long n; cin>>n; long long i ,j=1,sum=0;//可能需要long long 型 for(i=1;i<=n;i++)//简单模拟 { j=j*i; sum=sum+j; } cout<<sum<<endl; return 0; } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值