本地离线模型搭建指南-RAG架构实现

已于 2024-06-23 18:12:43 修改
阅读量2.1k 收藏 37
点赞数 32
文章标签： 架构
于 2024-06-23 17:25:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Master_Shifu_/article/details/139902910
版权

搭建一个本地中文大语言模型（LLM）涉及多个关键步骤，从选择模型底座，到运行机器和框架，再到具体的架构实现和训练方式。以下是一个详细的指南，帮助你从零开始构建和运行一个中文大语言模型。

本地离线模型搭建指南将按照以下四个部分展开

  1. 中文大语言模型底座选择依据
  2. 本地运行显卡选择
  3. RAG架构实现
  4. LLaMA-Factory训练框架及工具

3 RAG架构实现

3.1 什么是RAG

检索增强生成（Retrieval Augmented Generation, RAG） 是当前最热门的大语言模型（LLM）应用方案之一。RAG结合了信息检索和生成模型的优势，旨在增强生成式模型的知识覆盖和输出准确性。

3.2 为什么使用RAG

使用RAG的主要原因有以下几点：

  1. 知识的局限性：
    1. 现有的大模型（如ChatGPT、文心一言、通义千问等）的知识来源于它们的训练数据，这些数据主要是公开的网络数据。
    2. 对于一些实时性、非公开或离线的数据，大模型无法直接获取和使用。
  2. 幻觉问题：
    1. 大模型的输出基于数学概率，有时会出现“幻觉”——即生成看似合理但实际上错误的回答。
    2. 这种问题难以区分，尤其是在用户不具备相关领域知识的情况下。
  3. 数据安全性：
    1. 企业非常注重数据安全，不愿意将私有数据上传到第三方平台进行训练。
    2. 使用通用大模型可能会在数据安全和效果之间产生取舍。

RAG通过结合检索和生成的方式，能够有效解决上述问题。

3.3 RAG架构

RAG架构主要包括以下几个部分：

  1. 向量化：
    1. 将文本数据转化为向量矩阵，这个过程会直接影响后续检索的效果。
    2. 常见的embedding模型包括BERT、RoBERTa等，可以满足大部分需求。
    3. 对于特殊场景，可以选择微调现有的开源embedding模型，或直接训练适合自己场景的模型。
  2. 数据入库：
    1. 数据向量化后构建索引，并写入数据库。
    2. 适用于RAG场景的数据库包括FAISS、ChromaDB、Elasticsearch（ES）、Milvus等。
    3. 选择合适的数据库时，需要综合考虑业务场景、硬件和性能需求等因素。
  3. 检索模块：
    1. 在用户提出问题时，首先检索相关的文档或信息片段。
    2. 这些检索到的信息将作为生成模型的辅助输入。
  4. 生成模块：
    1. 利用检索到的信息和用户输入的问题，生成更加准确和相关的回答。
    2. 生成模型可以是预训练的大语言模型，如GPT-3等。
      在这里插入图片描述

3.4 RAG的工作流程

  1. 用户输入问题。
  2. 检索模块从数据库中检索相关信息。
  3. 生成模块结合用户输入和检索到的信息生成答案。
  4. 返回生成的答案给用户。

通过这种方式，RAG不仅能利用大模型的强大生成能力，还能结合实时、私有的数据源，提供更加精准和安全的解决方案。

3.5 embedding模型链接

模型名称描述获取地址
ChatGPT-EmbeddingChatGPT-Embedding由OpenAI公司提供，以接口形式调用。https://platform.openai.com/docs/guides/embeddings/what-are-embeddings
ERNIE-Embedding V1ERNIE-Embedding V1由百度公司提供，依赖于文心大模型能力，以接口形式调用。https://cloud.baidu.com/doc/WENXINWORKSHOP/s/alj562vvu
M3EM3E是一款功能强大的开源Embedding模型，包含m3e-small、m3e-base、m3e-large等多个版本，支持微调和本地部署。https://huggingface.co/moka-ai/m3e-base
BGEBGE由北京智源人工智能研究院发布，同样是一款功能强大的开源Embedding模型，包含了支持中文和英文的多个版本，同样支持微调和本地部署。https://huggingface.co/BAAI/bge-base-en-v1.5

更多详细信息和具体模型的链接，请访问

【关于NLP】那些你不知道的事

大模型RAG问答技术架构及核心模块：从Embedding、prompt-embedding到Reranker

RAG技术全解析：打造下一代智能问答系统

RAG 与微调在大模型应用中如何抉择

本地电脑大模型系列之 02 利用边缘人工智能，使用 Ollama、Qdrant 和 Raspberry Pi 构建 RAG 系统
iCloudEnd的博客
06-14 305
利用紧凑且经济高效的 Raspberry Pi 来托管embedding models和(LLM) 用于检索增强生成 (RAG) 系统vector database，language models提供了经济实惠、便携性和节能的独特组合。这种方法不仅通过提供低成本的实验和学习平台实现了对高级 AI 功能的民主化访问，而且还实现了边缘计算解决方案，通过在本地处理数据来减少延迟和带宽使用。
无缝融入，即刻智能[一]：Dify-LLM大模型平台，零编码集成嵌入第三方系统，42K+星标见证专属智能方案
丨汀、的博客
08-12 5946
无缝融入，即刻智能[一]：Dify-LLM大模型平台，零编码集成嵌入第三方系统，42K+星标见证专属智能方案
一文读懂什么是RAG，如何搭建多模态RAG降低大模型幻觉
ZILLIZ
10-31 1014
大语言模型（LLM）能够执行各种自然语言任务，例如文本生成、语言翻译、文本摘要、问答等。然而，使用 LLM 的一个显著局限是 LLM 幻觉。幻觉是指由 LLM 生成的响应虽然看起来正确且一致，但实际并非完全准确的现象。如果您不是特定领域内的专家，很难发现 LLM 生成的回答是不准确的。本文将介绍一种减轻 LLM 幻觉的解决方案——检索增强生成（Retrieval-Augmented Generat...
大模型技术学习系列(5): 基于langchain构建RAG应用
u011160113的博客
07-23 1420
本章中，我们回归了一下RAG的流程，并分析了下这个过程中涉及到的组件以及这些组件在langchain中对应的实现方式，并整合这些方式，实现了带RAG的大模型应用。通过这个实践过程，能够帮助我们更好的理解RAG的整个过程。
Windows 部署 DeepSeek 本地 RAG 保姆教程：低配秒变AI工作站，断网也能稳如老狗！
七加一i的博客
03-02 1399
RAG（Retrieval-Augmented Generation）是一种结合检索技术与生成模型的自然语言处理方法，通过引入外部知识库提升系统回复的准确性与信息量。
在windows 11本地搭建RAG数据查询的AI大模型环境
ainnle的专栏
05-01 4520
其中，基于检索-生成器（Retrieval-Augmented Generation，简称RAG）架构的数据查询模型备受关注，因为它能够结合从大规模文本语料库中检索信息和生成自然语言文本的能力，实现更加智能和准确的数据查询。1. 下载 Docker Desktop：首先，打开浏览器，访问 Docker 官方网站（https://www.docker.com/products/docker-desktop），在该页面上找到适用于 Windows 的 Docker Desktop 安装程序，并点击下载。
本地大模型+知识库（RAG）介绍，一文全讲解
huang9604的博客
01-17 2035
当下人工智能（Generative AI）快速发展，各种大模型（文心一言、通义千问、豆包、混元等）以及文生图、文生视频、以及其他功能性AI层出不穷。目前AI的发展趋势从增加参数数量使大模型更加智能转向大模型在行业内的应用落地。
大语言模型实战——搭建纯本地迷你版RAG
golfxiao的专栏
05-21 2402
question: 用户真实提问的问题。context: 基于用户问题所检索出的上下文文档片段，作为语言模板在回答问题时主要参考的内容。RAG_PROMPT_TEMPALTE = """先对上下文进行内容总结,再使用上下文来回答用户的问题。如果你不知道答案，就说你不知道。总是使用中文回答。问题: {question}可参考的上下文：···{context}···如果给定的上下文无法让你做出回答，请回答数据库中没有这个内容，你不知道。有用的回答:"""
RAG与知识库搭建，手把手教你构建RAG系统
qkh1234567的博客
11-13 3681
自从发现可以利用自有数据来增强大语言模型（LLM）的能力以来，如何将 LLM 的通用知识与个人数据有效结合一直是热门话题。关于使用微调（fine-tuning）还是检索增强生成（RAG）来实现这一目标的讨论持续不断。检索增强生成 (RAG) 是一种使用来自私有或专有数据源的信息来辅助文本生成的技术。它将检索模型（设计用于搜索大型数据集或知识库）和生成模型（例如大型语言模型 (LLM)，此类模型会使用检索到的信息生成可供阅读的文本回复）结合在一起。
国产模型能否挑战 GPT-4？一文拆解 DeepSeek-V3 架构与实战应用
最新发布
欢迎来到我的技术博客，这里是 AI 时代的全栈创研实验室
03-23 984
DeepSeek-V3 是当前开源领域最接近 GPT-4 的中文大模型，采用稀疏激活的 MoE 架构，实现了“性能强大、成本可控”的理想平衡。它支持 128K 超长上下文、具备出色的中文理解与生成能力，并全面开源可商用，适合私有部署与行业落地。本文将系统解析 DeepSeek-V3 的架构原理、训练策略、部署方法与应用实战，涵盖从 ChatGPT 式助手到企业知识问答系统的完整路径，帮助你用好这个真正能“落地”的强大国产大模型。
一文搞懂大模型、RAG、函数调用、Agent、知识库、向量数据库、知识图谱、AGI的区别和联系！！...
2401_84208172的博客
08-09 1241
当我们把AI大模型视作人的大脑时，调用A大模型就如同调用一个人的智慧。将AI大模型人格化，意味着它应该能够理解人类的语言（懂人话）、用人类的语言进行表达（说人话），并直接给出结果。然而，重要的是要认识到，尽管AI大模型可以提供快速的答案，但这些结果并不总是完全准确。在AI大模型的推理基础上，我们采用了多种技术手段来实现真正的AGI（通用人工智能），这些技术包括Prompt、RAG、Agent、知识库、向量数据库和知识图谱等。这些技术各自有其独特的作用和优势，但同时也相互关联，共同推动着AGI的发展。
RAG私域问答场景升级版方案(第二期方案)[2]：工业级别构建私域问答（业务问题、性能问题、安全成本问题等详细解决方案）
丨汀、的博客
08-07 687
RAG私域问答场景升级版方案(第二期方案)[2]：工业级别构建私域问答（业务问题、性能问题、安全成本问题等详细解决方案）
本地大模型部署和基于RAG方案的私有知识库搭建
youmaob的博客
07-24 1924
以上就是本地大模型部署和基于RAG方案的私有知识库搭建的基本操作。除此之外，还有更多丰富有趣的功能等待探索。如今大模型遍布各行各业、各个领域，基于RAG方案的私有知识库技术也逐渐发展，成为提升个人工作效率与创造潜能的新风尚。本地部署模型意味着用户能在自己的设备上享受即时响应的智能辅助，无需依赖云端，既保护了个人数据隐私，又确保了操作的低延迟与高可靠性。结合RAG方案的私有知识库，则让每位用户能够构建专属自己的知识宇宙。
langchain框架轻松实现本地RAG
qyhua的专栏
07-04 2433
RAG（Retrieval-Augmented Generation）是一种结合了检索和生成模型的方法，主要用于解决序列到序列的任务，如问答、对话系统、文本摘要等。它的核心思想是通过从大量文档中检索相关信息，然后利用这些信息来增强生成模型的输出。
小学生也能听得懂的大模型 - Transformer 1
2401_85325557的博客
07-29 1155
参考 [小学生也能听得懂的大模型 Transformer 1]
在本地构建RAG应用：从零开始的指南
aehrutktrjk的博客
09-25 536
你已经了解了如何使用本地组件构建RAG应用。可靠的完全本地RAG代理从零构建纠错RAG检索技术概述RAG细节深入探讨不同提供者的设置。
RAG架构搭建
猿脑2.0的博客
10-05 399
RAG（Retrieval Augmented Generation，检索增强生成）架构的搭建是一个涉及多个组件和步骤的复杂过程。随着技术的不断发展，RAG架构中的各个组件和工具也可能不断更新迭代，因此需要保持对最新技术的关注和学习。通过以上步骤，可以搭建一个基本的RAG架构系统，用于支持各种基于检索增强生成的应用场景。包含大量文本数据，作为检索的信息源。在整个搭建过程中，需要关注性能优化，如索引构建效率、检索速度、大模型响应时间等。索引数据库支持高效的向量搜索，以快速找到与用户查询最相关的文档片段。
在本地构建RAG应用程序的实用指南
aehrutktrjk的博客
10-21 451
通过本地运行所有组件，您已经学习了如何构建一个简单的RAG应用程序。LLM本地代理视频指南RAG原理介绍更多RAG技术指南。
RAG(检索增强的生成式模型)项目的搭建
rosemary1225的博客
07-04 2513
embeddings=self.embedding_fn(documents), # 每个文档的向量。RAG（Retrieval Augmented Generation），通过检索的方式增强生成模型的能力。query--> 检索-->prompt-->LLM-->回复。同一个语义，用词不同，可以导致检索不到有效的信息。其中，前三部是离线操作的，需要再系统上线前做好。''' 检索向量数据库 '''且OpenAI的向量模型是支持跨语言的。图中左侧是对话的结果，右侧是检索的结果。# 向向量数据库总添加文档。
langchai使用deepseek搭建离线RAG
02-12
### 使用LangChain和DeepSeek实现离线RAG架构 #### 架构概述 构建离线检索增强生成(Retrieval-Augmented Generation, RAG)系统涉及多个组件的集成。该系统旨在利用预训练模型的强大能力来处理自然语言查询，同时通过高效的索引机制提高数据检索效率[^1]。 #### 技术栈介绍 为了确保系统的跨平台兼容性和容器化管理，整个解决方案基于Docker运行环境，在Windows或Linux操作系统上均能顺利部署[^2]。 #### 实现步骤详解 ##### 准备工作 - **安装依赖项** 安装必要的Python库和其他工具包，包括但不限于`langchain`, `deepseek`, 和 Docker。 - **配置开发环境** 设置虚拟环境并激活它以便更好地管理和隔离项目所需的软件包版本。 ##### 数据准备与预处理 - **收集语料库** 收集待索引文档集合作为后续向量化操作的基础素材。 - **清洗文本内容** 对原始资料执行标准化流程去除噪声干扰因素如HTML标签、特殊字符等影响分析质量的信息片段。 ##### 向量数据库建立 采用适合大规模相似度搜索的数据结构存储经过编码转换后的特征表示形式——即嵌入(embedding)，从而支持快速近似最近邻查找算法加速匹配过程。 ```python from langchain.embeddings import EmbeddingModel embedding_model = EmbeddingModel() # 假设已有cleaned_texts列表保存了清理过的纯文本记录 embeddings = embedding_model.encode(cleaned_texts) ``` ##### 模型加载与微调 引入预先训练好的Transformer类语言理解模块，并针对特定领域任务需求实施迁移学习策略优化性能表现。 ```python import deepseek as ds model = ds.load_pretrained('path/to/pretrained/model') fine_tuned_model = model.finetune(training_dataset) ``` ##### API服务封装 最后一步是创建RESTful接口供外部应用程序调用内部功能完成问答交互逻辑控制流设计。 ```python @app.route('/query', methods=['POST']) def query(): user_input = request.json['text'] retrieved_docs = retriever.search(user_input) response_text = generator.generate(retrieved_docs) return jsonify({'response': response_text}) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值