构建本地大语言模型知识库问答系统

已于 2024-06-04 15:44:19 修改
阅读量2k 收藏 12
点赞数 10
文章标签： 语言模型
于 2024-04-28 16:39:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sumatch/article/details/138282859
版权

Ollama

Ollama 是一个基于 Go 语言开发的简单易用的本地大语言模型运行框架。专为在本地运行大型语言模型而设计。该框架将模型权重、配置和数据整合到一个包中，优化了设置和配置细节，包括 GPU 使用情况，从而简化了在本地运行大型模型的过程。

可以将其类比为 docker（具有实现命令行交互中的 list,pull,push,run 等命令），事实上它也的确制定了类 docker 的一种模型应用标准，

官方提供了类似 GitHub，DockerHub 一般的，可类比理解为 ModelHub，用于存放大语言模型的仓库(有 llama 2，mistral，qwen 等模型，同时你也可以自定义模型上传到仓库里来给别人使用)。

在管理模型的同时，它还基于 Go 语言中的 Gin 框架提供了一些 Api 接口，让你能够像跟 OpenAI 提供的接口那样进行交互。

Ollama 安装

下载链接：https://ollama.com/download
在这里插入图片描述

  • macOS：https://ollama.com/download/Ollama-darwin.zip
  • Windows：https://ollama.com/download/OllamaSetup.exe
  • Linux：curl -fsSL https://ollama.com/install.sh | sh
  • Docker:https://hub.docker.com/r/ollama/ollama

模型管理

ollama 安装之后，与模型交互就是通过命令来进行的。

  • ollama list：显示模型列表
  • ollama show：显示模型的信息
  • ollama pull：拉取模型
  • ollama push：推送模型
  • ollama cp：拷贝一个模型
  • ollama rm：删除一个模型
  • ollama run：运行一个模型

运行大模型

ollama 安装之后，可以在本地一键启动大模型（模型仓库见： https://ollama.com/library）：

ollama run qwen:1.8b  //这里使用千问1.8b https://ollama.com/library/qwen

启动之后可以直接在终端交互：
在这里插入图片描述
也可以使用 API 调用：

curl http://localhost:11434/api/generate -d '{
  "model": "qwen:1.8b",
  "prompt": "你好",
  "stream": false
}'

MaxKB

2024 年 4 月 12 日，1Panel 开源项目组正式对外介绍了其官方出品的开源子项目 ——MaxKB（github.com/1Panel-dev/MaxKB）。MaxKB 是一款基于 LLM（Large Language Model）大语言模型的知识库问答系统。MaxKB 的产品命名内涵为 “Max Knowledge Base”，为用户提供强大的学习能力和问答响应速度，致力于成为企业的最强大脑。

2024 年 4 月 16 日，MaxKB 成功登顶 GitHub Trending 主榜单，自项目发布后快速收获超过 1.8k Stars 和超过 5,000 次下载。

2024 年 4 月 25 日 已有 3.5k Stars 。

在这里插入图片描述

MaxKB 的优点：

  • 多模型支持：支持对接主流的大模型，包括本地私有大模型（如 Llama 2）、OpenAI、通义千问、Kimi、Azure OpenAI 和百度千帆大模型等；
  • 开箱即用：支持直接上传文档、自动爬取在线文档，支持文本自动拆分、向量化，智能问答交互体验好；
  • 无缝嵌入：支持零编码快速嵌入到第三方业务系统。

除了基于 OpenAI、百度千帆大模型等在线大模型快速搭建知识库问答系统外，MaxKB 还支持与以 Ollama 为代表的本地私有大模型相结合，快速部署本地的知识库问答系统。

下面介绍 快速部署 MaxKB 和 Ollama，并在 MaxKB 中接入 Ollama 的 LLM 模型，搭建基于大语言模型的本地知识库问答系统。

MaxKB 安装部署

部署方式一：通过 1Panel 应用商店，快速安装 MaxKB 应用。
在这里插入图片描述

部署方式二：Docker 安装。（Docker 部署不再赘述。）

docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb
# 用户名: admin
# 密码: MaxKB@123..

选择使用 Docker 部署方式。注意设置挂载目录。

部署之后，界面如下：
在这里插入图片描述
使用教程：MaxKB 文档

MaxKB 支持嵌入到第三方系统中

在这里插入图片描述

MaxKB + Ollama

http://host.docker.internal:11434/
在这里插入图片描述

AnythingLLM

AnythingLLM 是 Mintplex Labs Inc. 开发的一款开源 ChatGPT 等效工具，用于在安全的环境中与文档等进行聊天，专为想要使用现有文档进行智能聊天或构建知识库的任何人而构建。

AnythingLLM 能够把各种文档、资料或者内容转换成一种格式，让LLM（如ChatGPT）在聊天时可以引用这些内容。然后你就可以用它来和各种文档、内容、资料聊天，支持多个用户同时使用，还可以设置谁能看或改哪些内容。 支持多种LLM、嵌入器和向量数据库。

AnythingLLM 特点

  • 多用户支持和权限管理：允许多个用户同时使用，并可设置不同的权限。
  • 支持多种文档类型：包括 PDF、TXT、DOCX 等。
  • 简易的文档管理界面：通过用户界面管理向量数据库中的文档。
  • 两种聊天模式：对话模式保留之前的问题和回答，查询模式则是简单的针对文档的问答
  • 聊天中的引用标注：链接到原始文档源和文本。
  • 简单的技术栈，便于快速迭代。
  • 100% 云部署就绪。
  • “自带LLM”模式：可以选择使用商业或开源的 LLM。
  • 高效的成本节约措施：对于大型文档，只需嵌入一次，比其他文档聊天机器人解决方案节省 90% 的成本。
  • 完整的开发者 API：支持自定义集成。

支持的 LLM、嵌入模型和向量数据库

  • LLM：包括任何开源的 llama.cpp 兼容模型、OpenAI、Azure OpenAI、Anthropic ClaudeV2、LM Studio 和 LocalAi。
  • 嵌入模型：AnythingLLM 原生嵌入器、OpenAI、Azure OpenAI、LM Studio 和 LocalAi。
  • 向量数据库：LanceDB（默认）、Pinecone、Chroma、Weaviate 和 QDrant。

安装

桌面安装： https://useanything.com/download

Docker安装： https://github.com/Mintplex-Labs/anything-llm/blob/master/docker/HOW_TO_USE_DOCKER.md

Docker :

docker pull mintplexlabs/anythingllm

export STORAGE_LOCATION=$HOME/anythingllm && \
mkdir -p $STORAGE_LOCATION && \
touch "$STORAGE_LOCATION/.env" && \
docker run -d -p 3001:3001 \
--cap-add SYS_ADMIN \
-v ${STORAGE_LOCATION}:/app/server/storage \
-v ${STORAGE_LOCATION}/.env:/app/server/.env \
-e STORAGE_DIR="/app/server/storage" \
mintplexlabs/anythingllm

安装好之后，访问 http://localhost:3001 :
在这里插入图片描述

创建命名空间，比如 “Test”
在这里插入图片描述

配置大模型

在这里插入图片描述

“Token context window” 是指在大模型中处理文本时，模型在每个标记（token）周围考虑的上下文范围。

AnythingLLM 中默认是 4096

配置文本向量模型

在这里插入图片描述

安装文本向量模型：https://ollama.com/library/nomic-embed-text

选择 nomic-embed-text
在这里插入图片描述

“Max embedding chunk length” 在大模型领域通常表示嵌入块的最大长度。嵌入块是指将输入文本分割成较小的片段或块，以便在大型模型中进行处理。

由于大型模型的计算和内存资源限制，处理长文本序列可能会面临挑战。为了克服这个问题，可以将长文本序列分割成较短的嵌入块，然后分别对每个块进行处理。

“Max embedding chunk length” 是指在分割文本序列时所使用的最大块长度。如果文本序列的长度超过了最大块长度，它将被分割成多个块，每个块的长度不超过最大块长度。

通过限制嵌入块的最大长度，可以确保模型能够处理较长的文本序列，并且可以在每个块上进行并行计算，以提高效率和减少内存需求。然而，较小的最大块长度可能会导致信息丢失或上下文不完整，因此需要在模型设计中进行权衡和选择。

AnythingLLM 中默认是 8192

配置向量数据库

在这里插入图片描述

这里选择默认的 LanceDB。

LanceDB 是一款针对AI应用的新型开发者友好型无服务器向量数据库。

  • 它可嵌入应用程序中，无需管理服务器，其扩展性依赖于磁盘而非内存，具有低延迟性
  • LanceDB 支持向量搜索、全文搜索和SQL，并针对多模态数据进行了优化
  • LanceDB 2.0，已在 Github 上开源 https://github.com/lancedb/lancedb

上传本地知识库

在这里插入图片描述

配置聊天模式

在这里插入图片描述

  • Chat 模式：模型将根据常识和本地知识库作答

  • Query 模型：模型仅根据本地知识库作答

sumatch
关注
  • 10
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
利用MaxKB结合Ollama搭建知识库
program哲学
04-26 1109
详细介绍利用MaxKB结合Ollama搭建知识库,30 分钟内即可上线基于本地大模型的知识库问答系统，亲测可用
【笔记】Windows 中 一键部署本地私人专属知识库：MaxKB + Docker + MaxKB docker + Ollama
nyist_yangguang的博客
05-29 1212
Docker 和容器不一样，只是容器的一种实现，是一个容器化的解决方案和平台。而容器是一种虚拟化技术，和虚拟机类似，也是一个独立的环境。可以在这个环境中运行应用程序，和虚拟机不同的是，它并不需要在容器中运行一个完整的操作系统，而是使用宿主机的操作系统，所以启动速度非常快。镜像也像一道食谱，容器就是根据这个食谱做出来的菜（可以一个或多个），但这些菜都是根据同一道食谱做出来的。实际上，我们在终端使用的各种命令，都是发送给Docker Daemon的，经过Docker Daemon处理后，返回给客户端。
手把手带你打造自己的本地AI个人专属知识库
最新发布
m0_63171455的博客
06-27 1178
虽然对于大多数人来讲，由于我们的电脑配置等原因，部署本地大模型并且达到很好的效果是很奢侈的一件事情。如何学习AI大模型？我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。
网易大模型 RAG 问答知识库开源，Star 超 6K！！
2301_78285120的博客
04-05 1913
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。今天我分享一个开源项目QAnything，它是由网易开源自研的 RAG 引擎。该引擎允许用户上传 PDF、图片、Word、Excel、PowerPoint 等多种格式的文档，并实现类似于 ChatGPT 的互动问答功能，其中每个答案都能精确追溯到相应的文档段落来源。
通义千问Qwen 1.8B以及7B chat模型本地化部署
weixin_42118737的博客
05-14 1943
本文简单的记录了在本地部署阿里通义千问1.8B以及7B模型
AI | 基于 MaxKB+Ollama+Llama3 手把手从0-1构建本地私有化知识库
ytt0523_com的博客
06-13 1470
随着人工智能技术的快速发展-大型语言模型（LLM），如 OpenAI 的 GPT 系列，已成为众多企业和个人关注的焦点，而 Ollama 作为一款开源的大型语言模型服务工具，正逐渐受到开发者和研究人员的关注，本文将探讨基于 MaxKB+Ollama +Llama3 如何快速零成本构建本地私有化 AI 知识库！
maxKb+ollama+lama2-chinese 基于知识库+本地模型的知识问答系统
keyboard专栏
06-20 784
maxKb+ollama+lama2-chinese 基于知识库+本地模型的知识问答系统。
构建本地知识库的ChatGLM问答系统实现.zip
06-24
本资源提供了一种构建本地知识库的ChatGLM问答系统的实现方法，适合初学者入门学习。 构建本地知识库的ChatGLM问答系统主要涉及以下几个关键知识点： 1. **大语言模型（Large Language Models）**：这些模型具有数...
大语言模型集成应用器，大语言微调模型，结合本地知识库模式.zip
08-29
本压缩包“大语言模型集成应用器，大语言微调模型，结合本地知识库模式.zip”似乎包含了一套完整的解决方案，旨在将大语言模型与本地知识库相结合，以提高应用的智能性和准确性。 首先，我们来探讨大语言模型的基本...
Langchain-Chatchat基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答
02-07
**Langchain-Chatchat：基于Langchain与ChatGLM的本地知识库问答系统** Langchain-Chatchat是一款基于Python开发的本地知识库问答系统，它整合了Langchain库和ChatGLM等先进的自然语言处理技术，旨在提供高效、个性...
本地部署开源大模型的完整教程LangChain + Streamlit+ Llama
09-23
本教程旨在指导开发人员如何在本地部署开源的大型语言模型（LLM），并使用LangChain、Streamlit和LLaMA等工具来创建交互式应用程序。以下是教程中涉及到的主要知识点： 一、LangChain LangChain是一个免费的框架，...
MaxKB 是一款基于 LLM 大语言模型的知识库问答系统
04-04
MaxKB 是一款基于 LLM 大语言模型的知识库问答系统。MaxKB = Max Knowledge Base，旨在成为企业的最强大脑。支持直接上传文档、自动爬取在线文档，支持文本自动拆分、向量化，智能问答交互体验好；支持零编码快速嵌入到第三方业务系统；支持对接主流的大模型，包括本地私有大模型（如 Llama 2）、Azure OpenAI 和百度千帆大模型等。
只需三步，本地打造自己的AI个人专属知识库
AAI666666的博客
04-08 1万+
只需三步，本地打造自己的AI个人专属知识库
MaxKB+WeDown：我给自己的公众号增加了一个问答小助手（附部署教程）
lythinking的博客
04-18 2030
这个问答系统可以集成到自己的其他网站上，或者自己的项目产品中，而且支持这些模型厂商，然后我前面又介绍了那么多免费api获取的项目，那我就直接利用这些api来构建公众号的知识问答小助手（这个知识库也是支持本地模型的，但是对硬件要求高呀，只能较低版本的模型，那样问答效果就不太好，然后我就准备用3.5来作为基础模型，当然gpt4free这个项目也提供免费的gpt4调用，就是速度有点慢）那里提供了访问的站点和api，还可以嵌入到第三方的网站中，这也是这个项目的特色。到此为止，我们就部署好了一个公众号的问答小助手。
免费调用阿里云通义千问（qwen-1.8b-chat)大模型API
C站全栈优质创作者、阿里云受邀博主专家，喜欢结识新伙伴寻找志同道合的朋友，欢迎一起探讨学习
04-28 2685
免费的GPT接口国内的使用一段实践就会失效，阿里云的==qwen-1.8b-chat==限时免费，可对接！目前本账号小助手也是对接了该模型
基于Ollama+AnythingLLM搭建本地私有知识库系统
热门推荐
sheex2012的博客
04-30 1万+
本文介绍了LLM在落地应用中的不足，并引入了RAG框架和原理，以及RAG在私有知识库建设中的重要作用。并以Ollama和AnythingLLM为实现手段，构建了并测试了本地知识库，测试结果表明，有了RAG的加持，LLM的回答结果更加贴切，有效。
ollama+anythingllm==构建本地知识库
hebian1994的博客
05-06 1972
测试下文本问答，可以看到走的GPU,并且可以在ollama服务端看到了来自anythingllm的请求日志。安装完成后打开，输入ollma服务器的地址，然后可以选择使用ollama中的哪个模型。然后再问，可以发现这下准了，所以准确度还是对投入的文档有一定的准确度要求的。此时模型会被自动下载到环境变量配置的地址，并且启动一个对话界面。配置ollama环境变量，调整模型存放的位置。自己写手写个TXT吧，我在TXT里写的内容为。右下角退出ollama程序，然后再次启动。安装ollama，自动安装到C盘。
[保姆级教程]从0开始本地大模型搭建私用知识库(第一部分：安装)
m0_71142057的博客
03-22 6104
从0开始搭建完全离线的基于大模型的本地知识库
查询本地知识库之llama2+langchain
Harry的博客
11-12 1810
1. python package 包2. nltk的punkt手动安装安装nltk的punkt模块（因为下载速度很慢，所以这里我们手动下载）先在root目录下，建一个文件夹：/root/nltk_data/tokenizers到这个网址：http://www.nltk.org/nltk_data/，找到punkt的包。
基于大语言模型的本地知识问答系统
02-01
基于大语言模型的本地知识问答系统是一种利用强大的自然语言处理模型来构建的问答系统。这种系统可以通过输入问题，从本地的知识库中查找相关信息，并生成准确的答案。 这种系统的核心是一个经过训练的大型语言模型，如GPT（Generative Pre-trained Transformer）。该模型通过大量的文本数据进行预训练，学习了丰富的语言知识和语义理解能力。在实际应用中，可以将这个模型与本地的知识库结合起来，构建一个问答系统。 具体实现时，可以将问题输入到模型中，模型会根据问题的语义理解能力，在知识库中查找相关信息，并生成答案。这种系统可以应用于各种领域，如医疗、法律、金融等，帮助用户快速获取准确的信息。 然而，需要注意的是，基于大语言模型的本地知识问答系统可能存在一些限制和挑战。例如，对于一些特定领域的专业问题，模型可能无法提供准确的答案。此外，模型可能受限于训练数据的质量和覆盖范围，导致在某些情况下无法生成正确的答案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值