个人本地部署大模型挂载搭建RAG知识库实战记录

最新推荐文章于 2025-04-01 21:40:06 发布

Pas0412

最新推荐文章于 2025-04-01 21:40:06 发布

阅读量800

点赞数 5

分类专栏： AI 大模型文章标签： llama ai 语言模型人工智能

本文链接：https://blog.csdn.net/weixin_48328458/article/details/144675112

版权

如题，实际跑一遍发现已经非常简便快捷了，各类文章也很成熟，写一篇记录一下，为后续写开发文档存稿一下，仅供参考。适合想自己本地拉一个模型来简单跑跑或者DIY的AI入门学者

知识面有限，硬件需求不作赘述，提供一个大部分能跑的版本。

本文是私有化部署，效果其实应该跟市面上很多发布AI应用的第三方平台差不多，如果不想私有化本地化可以选择那些平台，字节的扣子、智谱之类的，没用过，不评价。

一、Ollama

用来快速拉模型和部署模型的，支持llama、qwen、Gemma等模型，很方便，下一个这个就完成80%了。

链接：Ollamahttps://ollama.com/

支持Windows， Linux， MacOS

下载完之后默认端口是11434，可以在win+R输入sysdm.cpl后的环境变量里面的高级选项卡-环境变量里修改端口，cache也要加一下，origin设为*可以解决跨域问题（遇到的一个小坑）

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Pas0412

关注关注

5
点赞
踩
12

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[1]-最新版快速实践并部署（检索增强生成RAG大模型）

丨汀、的博客

05-06

2190

基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[1]-最新版快速实践并部署（检索增强生成RAG大模型）

大模型外挂知识库rag综述

posuosini的博客

03-19

9241

大模型外挂知识库rag的综述

参与评论您还未登录，请先登录后发表或查看评论

【deepseek】本地部署+RAG知识库挂载+对话测试

qq_45193872的博客

02-20

3660

如何实现Deepseek本地部署+RAG知识库挂载+对话测试【详细教程】

大模型外挂知识库-RAG

jindayue的博客

06-05

4000

是一个类似 hashmap 的数据结构，它的 key 是每个词元，而 value 是一个包含这个词元的所有文档的 id 列表（也可能是 hashset、链表等结构），这样的数据结构的好处在于对于一个词元，可以用接近 O(1) 的代价来找到包含它的文章。有时倒排索引中也会包含词元在文档中的位置信息，这是为了能在搜索时，在考虑了 query 中的词元信息之外，也把词元的顺序也一并考虑进去。尽管 LLM 尽力根据已有的数据提供信息和答案，但在超出其范围的情况下，它可能会给出不正确或是虚构的信息。

LLM代码实现-Qwen（挂载知识库）

m0_65555479的博客

09-04

1232

LLM 在回答用户的问题时可能会产生幻觉，或者由于训练数据中不包含用户想要的内容而无法回答，通常情况下我们可以选择微调模型或者外挂知识库来缓解这类问题。微调模型的对数据和算力都有一定的要求，而知识库的门槛会更低一些，所以通常情况下会选择外挂知识库高效地来解决这类问题。挂载知识库其实相当于引入外部知识，为了扩展语言模型以减少歧义，从大型文本数据库中检索相关文档。通常将输入序列分割成块并检索与用户输入的 query 相似的文档，然后将所选文档放在输入文本之前作为前置知识以改进模型的预测。

【大模型部署】只需三步，本地打造自己的AI个人专属知识库

AAI666666的博客

11-22

1624

只需三步，本地打造自己的AI个人专属知识库

大模型知识管理平台：辅助写作利器

大数据指北

11-27

1036

大模型知识管理平台：辅助写作利器

矢量数据库：LLMs外挂知识库

python122_的博客

07-09

1348

信息有多种形式。有些信息是非结构化的，例如文本文档、图片和音频。有些则是结构化的，例如应用程序日志、表格和图表。怎么把这些数据进行统一存储和检索呢？矢量数据库就是为了解决这个问题而诞生的。向量数据库能够将向量存储为高维数据点并进行高效检索。将文档信息利用text Embedding算法进行嵌入，形成文本向量；同理，可通过多模态表征算法将video/image/audio数据进行表征，生成稠密嵌入向量。然后将稠密向量存入到矢量数据库（如：Pinecone），然后利用相似算法进行高效检索。

从0到上线：国产大模型部署的Docker化实战全流程（支持多模型 × 自动重启 × 接口封装）

在信息的熵增中，记录结构、重建秩序。技术思想者的笔记，系统构建者的注释。

03-30

402

✅ Docker 容器的单位不是“代码”，而是“功能组件”✅ 模型不要封装，服务要尽量拆清楚✅ 一套 Compose 网络 + 路由方案能支撑多模型长期演进✅ 模型和代码解耦，有利于版本控制与多模型复用报错信息出现场景解决方案模型过大 / 并发过高降低 batch size、限制上下文长度、开启 INT4 模式模型路径写错容器内路径应为，注意挂载一致性transformers 版本过低升级至 4.36+ 以上版本INT4 推理失败容器未装，或缺乏 libcudart.so。

Windows搭建AI大模型应用开发环境以及踩过的坑

最新发布

独孤求梦

04-01

1139

本地搭建AI大模型应用开发环境目前主流的3种方式 1、Windows WSL2 + Ubuntu + Docker + Ollama（推荐） 2、Windows WSL2 + Docker Desktop + Ollama 3、Windows WSL2 + Ubuntu + Docker Desktop + Ollama

SaaS的“大模型焦虑”

mama19971023的博客

07-19

1270

在大语言模型的商业化落地上，目前还面临安全合规、准确性、可控性、易用性、规模化等多重挑战，如何降低大语言模型技术的服务成本，完成闭环是关键。SaaS 的 AI 升级，目前主要有两条路线：一为体验升级之路：即让原有能力，更好地被 AI 驾驭和驱动；二为重塑产品之路：即利用 AI 能力，做出一个全新的产品。随着大语言模型对 To B 业务场景的渗透，体验升级之路，最终会走向重塑产品之路。大模型时代，行业 Know-how 依然是 SaaS 厂商可靠的壁垒。

AI大模型企业应用实战：Prompt让LLM理解知识

2401_84204413的博客

06-25

2585

私有化部署 Llama3 大模型, 支持 API 访问

chenxyuan1tuo的博客

06-18

1362

原文 https://ducafecat.com/blog/llama3-model-api-local通过 ollama 本地运行 Llama3 大模型其实对我们开发来说很有意义，你可以私有化放服务上了。然后通过 api 访问，来处理我们的业务，比如翻译多语言、总结文章、提取关键字等等。你也可以安装 enchanted 客户端去直接访问这个服务 api 使用。

搭建个人知识库

weixin_42907150的博客

02-22

2028

这次简单的尝试了本地部署 LLM + 外挂知识库的方式来搭建一个私有化的知识库，整体来看还有一些提升空间，比如模型的选择上，ChatGLM3 适合于小型的系统，如果有更多的资源，则可以考虑其他更大的模型 , 如 ChatGLM-130B。

自己写一个RAG应用

阿不的博客

07-24

906

RAGRAG 是一个人工智能框架，用于从外部知识库中检索事实，使大型语言模型（LLM）基于最准确的最新信息，并让用户深入了解 LLM 的生成过程。大语言模型训练完后，其内部知识库就已经确定了，所以它无法回答你超过其知识库内容的问题。除非你有能力对其进行微调，否则最简单的方法就是使用RAG检索外部知识库。有人可能会认为，RAG是不是就是让模型在回答问题前先去指定的外部知识库检索一下知识，然后再回答？

实战本地部署DeepSeek和RAG，构建自己专属知识库

m0_62878167的博客

02-14

1014

在“RAG设置”项，将“文本嵌入模型”改为“nomic-embed-text”并保存，此时，我们本地的RAG支持也配置好了，可以开始构建自己的专属知识库了。但是想要支持RAG，还需安装其他的组件，按照RAG的原理和机制，还需要在本地部署一个嵌入模型。DeepSeek-V3和DeepSeek-R1都是非常优秀的国产大模型，如果需要在本地部署，则需要借助Ollama。在DeepSeek-R1中，可以看到有1.5b、7b、8b、14b、32b、70b、671b这几种规模大小的模型下载。

大模型必备向量数据库-Milvus的安装过程

xian0710830114的专栏

02-24

4104

Milvus是一个开源的向量相似度搜索引擎，专注于大规模向量数据的快速相似度搜索。本文将介绍Milvus的安装，跟着走，肯定能装上(#^.^#)

快速搭建自己的RAG应用（一）

DEVELOPERAA的博客

05-16

1246

随着信息量的爆炸式增长，个人知识库的构建和管理变得愈发重要。除开开源的模型，还有像OpenAI，千问等产品提供的API，如同一座桥梁，降低了使用难度，连接了您的数据宝库与先进的自然语言处理能力。通过这些接口，您可以轻松实现文本的生成、理解、翻译和摘要，甚至是复杂问题的解答和智能对话的构建。

大模型和数据库最新结合进展

Foolforuuu的博客

06-28

1421

写在前面本文主要内容是上次接受 infoQ 访谈，百度智能云朱洁老师介绍了大模型和 AI 结合相关话题，这次整体再刷新下，给到对这个领域感兴趣的同学。

Deepseek+Dify本地搭建RAG大模型私有知识库

02-26

### 构建RAG大模型私有知识库 #### 使用Deepseek和Dify实现本地部署为了在本地环境中使用Deepseek和Dify构建RAG大模型的私有知识库，需完成一系列配置与集成操作。具体过程涉及环境准备、安装必要的软件包和服务设置。 #### 环境准备确保拥有适合运行大型语言模型的基础架构，包括但不限于足够的计算资源（CPU/GPU）、内存空间及存储容量。此外，还需准备好支持Python编程的语言环境及相关依赖项[^3]。 #### 安装Deepseek-R1 按照官方文档指导，在服务器上部署Deepseek-r1版本的大规模预训练模型实例。此步骤通常涉及到下载权重文件、调整参数配置以适应硬件条件等操作[^1]。 #### 配置Dify平台通过Dify提供的API接口或命令行工具连接已部署好的Deepseek-r1服务端口，使两者之间建立有效的通信链路。此时可以测试二者之间的连通性，确认消息传递正常无误[^2]。 #### 创建嵌入式索引针对目标领域内的文本资料集执行向量化处理，生成对应的embedding表示形式，并将其导入至数据库中形成结构化的索引体系。这一环节对于后续查询效率至关重要。 #### 实现检索增强机制设计合理的算法逻辑，使得当用户发起咨询请求时，系统能够快速定位最相关的背景信息片段作为辅助材料输入给LLM进行响应合成；同时保持对话流畅性和自然度不受影响。 ```python from dify import DifyClient import deepseek as ds client = DifyClient(api_key='your_api_key') model = ds.load_model('path_to_deepseek_r1') def get_context(query): embeddings = model.encode([query]) results = client.search(embeddings=embeddings, top_k=5) context = " ".join([r['text'] for r in results]) return context ``` 上述代码展示了如何利用Dify客户端API获取与查询语句相似度最高的几个条目，并将它们组合成一段连续的文字串供进一步分析使用。