基于chatOllama实现本地RAG应用

最新推荐文章于 2024-05-09 16:04:32 发布
最新推荐文章于 2024-05-09 16:04:32 发布
阅读量1k 收藏 11
点赞数 7
文章标签： llama
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84215165/article/details/137600941
版权
本文详细介绍了如何在Windows10Docker环境中安装和配置chatOllama，包括设置环境变量、初始化SQLite数据库、下载模型以及导入本地知识库进行问答。展示了本地知识库启用前后问答效果的对比。
摘要由CSDN通过智能技术生成

基于chatOllama100%实现本地RAG应用

环境

  • Windows 10
  • Docker
  • ollama

基于Docker环境安装chatOllama

下载chatOllama

下载到桌面docker-compose.yaml，并在命令行中执行如下命令，开始下载相关docker

cd C:\Users\Administrator\Desktop
docker compose up

在这里插入图片描述

下载完成后会看到Docker Desktop中有三个容器在运行
在这里插入图片描述

配置环境变量

由于chatOllama是运行是docker容器中，所以需要在本机设置环境变量，将chatOllama的地址设置为环境变量，方便后续调用

OLLAMA_HOST=http://host.docker.internal:11434

在这里插入图片描述

初始化SQLite数据库
docker compose exec chatollama npx prisma migrate dev

在这里插入图片描述

下载文本嵌入模型
ollama pull nomic-embed-text:latest

访问chatOllama

访问地址：http://l27.0.0.1:3000/

看到如下页面说明chatollama已经成功运行

在这里插入图片描述

配置chatOllama

进入设置页面，配置ollama server，地址配置为：
http://host.docker.internal:11434
在这里插入图片描述

模型下载

进入模型下载页面，下载模型，因为我之前用ollama pull过很多模型，所以这里就展示出来了，如果没有下载过，在下载地址栏输入模型名称即可

在这里插入图片描述

本地知识库

导入本地文件

进入知识库页面，点击导入本地文件，选择本地文件，点击导入即可，支持多个文件导入
在这里插入图片描述

本地文件内容：
在这里插入图片描述

配置chat

导入完成之后，点击opsany部署，进入chat页面，点击编辑按钮就入编辑页面，选择模型
在这里插入图片描述

开始问答

根据文档内容提问，可以得到相应的回答，可以看到回答的内容和上传的文档内容大致相似，并且可以看到来源是pdf文档
在这里插入图片描述

以下是没有使用本地知识库的情况

可以看到回答和上传的问答是明显不一样的
在这里插入图片描述

AI老谭
关注
  • 7
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于langchain的RAG实战
02-19
基于langchain的RAG实战
Ollama利用嵌入模型实现RAG应用
小龙在线
04-11 2853
Ollama支持embedding models嵌入模型，从而支持RAG（retrieval augmented generation）应用，结合文本提示词，检索到文档或相关数据。嵌入模型是通过训练生成向量嵌入，这是一长串数字数组，代表文本序列的关联关系。Ollama的嵌入模型有三种：mxbai-embed-large、nomic-embed-text 、all-minilm。
部署一个本地的ChatGPT（Ollama）
qyhua的专栏
03-16 3435
部署一个本地的ChatGPT（Ollama）
Chat Ollama docker部署及运行 本地大语言模型+本地知识库搭建 强烈推荐
weixin_42984235的博客
04-10 5489
Ollama 是目前最流行的大模型本地化工具之一。Ollama 支持一系列开源大模型，包括主流的聊天模型和文本嵌入模型（Embedding Models）等。ChatOllama 是基于 Ollama 的 Web 应用，它可以让用户直接在浏览器中使用 Ollama。ChatOllama 支持多种大模型，包括 Ollama 支持的所有大模型，以及 OpenAI，Anthropic 的大模型。ChatOllama 的作者是 B 站的一名 up @五里墩茶社。
隐私第一：在几分钟内部署本地大语言模型!
文本魔术
12-26 3830
2023年是人工智能领域加速发展的一年。除了健壮的商业上可用的大型语言模型之外，还出现了许多值得称赞的开源方案，例如Llama2、Codellama、Mistral和Vicuna。虽然商业大模型ChatGPT、Bard和Claude等拥有强大的功能，但它们带来了相关的成本和固有的安全问题。在必须确保数据安全的特定场景中，考虑部署本地大型语言模型是一种可行的选择。 在本文中，我将介绍如何使用Ollama来运行Llama2和其他大型语言模型。
在windows 11本地搭建RAG数据查询的AI大模型环境
ainnle的专栏
05-01 2404
其中，基于检索-生成器（Retrieval-Augmented Generation，简称RAG）架构的数据查询模型备受关注，因为它能够结合从大规模文本语料库中检索信息和生成自然语言文本的能力，实现更加智能和准确的数据查询。1. 下载 Docker Desktop：首先，打开浏览器，访问 Docker 官方网站（https://www.docker.com/products/docker-desktop），在该页面上找到适用于 Windows 的 Docker Desktop 安装程序，并点击下载。
部署Chat-ollama详细教程（包括本地部署和docker部署）windows操作系统
LY_LM的博客
05-09 2518
部署Chat-ollama详细教程（包括本地部署和docker部署）windows操作系统
RAG本地离线训练自己的ChatPDF
02-05
RAG训练用PDF样例（太平洋金诺人生保险条款）
RAG应用全流程RAG应用全流程
05-03
RAG应用全流程RAG应用全流程RAG应用全流程RAG应用全流程RAG应用全流程RAG应用全流程RAG应用全流程RAG应用全流程RAG应用全流程RAG应用全流程RAG应用全流程RAG应用全流程RAG应用全流程RAG应用全流程RAG应用全流程RAG...
大模型-大模型RAG应用基础认知视频
03-16
视频课程可能涵盖RAG的基本概念、工作原理、实现细节、效果评估以及如何利用大模型实现RAG等。通过观看"09-RAG"这样的章节，你可以深入理解如何在实践中运用RAG技术。 8. **挑战与未来方向**： 虽然RAG表现出色，...
RAG( Retrieval Augmented Generation)简单实现
最新发布
06-26
RAG( Retrieval Augmented Generation)简单实现
使用本地 Llama 2 模型和向量数据库建立私有检索增强生成 (RAG) 系统 LangChain
iCloudEnd的博客
10-08 766
在人工智能领域，获取最新且准确的数据至关重要。检索增强生成（RAG）模型证明了这一点，它作为人工智能生态系统中的既定工具，利用大型语言模型与外部数据库的协同作用，提供更精确和最新的答案。借助 RAG，您不仅能获得黑匣子答案，还能获得黑匣子答案。您将收到基于直接从最新数据源提取的实时信息的见解。然而，当 RAG 拥有可靠且高效的数据源时，它的力量才能真正发挥出来。这就是非结构化的闪光点。想象一下，有一个以各种格式和位置分布的数据宝库，利用它的任务感觉非常艰巨。
【RAG】内部外挂知识库搭建-本地GPT
天天的博客
04-03 1009
为了添加对其他文件格式的支持，只需添加该字典以及该文件格式和来自 LangChain 的相应加载器即可。检索增强生成(RAG)是指对大型语言模型输出进行优化，使其能够在生成响应之前引用训练数据来源之外的权威知识库。大半年的项目告一段落了，现在自己找找感兴趣的东西学习下，看看可不可以搞出个效果不错的local GPT，自研下大模型吧。docker官方文档：https://www.dockerdocs.cn/engine/index.html。==》本地版的 GPT，可以下載 source code。
使用LlamaIndex，Qdrant，Ollama和FastAPI构建本地RAG api
顺其自然~专栏
03-14 903
ChatGPT已经改变了我们与AI的互动方式。人们现在将这些大型语言模型（LLMs）作为主要的个人助手来进行写作、头脑风暴甚至咨询。然而，这些LLMs的问题在于，它们的表现只能和它们接受的训练数据一样好。例如，如果一家公司想要向ChatGPT查询一份内部文件，ChatGPT可能无法理解它。此外，它的知识可能不是最新的，而且容易产生幻觉。为了解决这个问题，我们可以在我们的数据上对这些LLMs进行微调，使它们能够从中回答问题。然而，这种方法可能非常昂贵。
本地部署基于LLama3知识库问答 （OLLama+Oneapi+Fastgpt）
kjzd123的博客
04-24 4449
关于如何本地部署基于LLama3知识库问答系统的指南，涉及OLLama、OneAPI和FastGPT三个组件。文档内容主要分为以下几个步骤： 使用docker搭建ollama容器： 安装NVIDIA Container Toolkit，包括配置仓库和安装相关包。 启动ollama容器，映射端口并设置卷。 使用ChatOllama下载模型以及体验模型： 通过docker-compose.yml文件运行容器，并配置ollama地址。 访问127.0.0.1:3000来使用ChatOllama，设置相关的配
基于ollama搭建本地chatGPT
帅东's Blog
04-14 1062
ollama帮助我们可以快速在本地运行一个大模型，再整合一个可视化页面就能构建一个chatGPT，可视化页面我选择了chat-ollama（因为它还能支持知识库，可玩性更高），如果只是为了聊天更推荐chatbox。
第三章 Docker中安装chatOllama
liujianming的博客
04-05 888
Docker中安装chatOllama
ChatOllama构建AI聊天和知识库问答
热门推荐
wbsu2004的博客
03-22 1万+
ChatOllama 是基于 Ollama 的Web应用，支持 AI 聊天和本地知识库问答。
基于RAG的langchain
04-08
基于RAG的langchain利用RAG模型的检索能力和生成能力，以及语言链的多模型串联，可以实现更加准确、丰富和灵活的文本生成。具体而言，它首先使用RAG模型从大规模的文本数据中检索出与问题相关的信息，然后将这些信息...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值