【AI大模型RAG】通俗地说说RAG及其与大模型的结合（附教程）

最新推荐文章于 2025-04-12 17:09:45 发布
最新推荐文章于 2025-04-12 17:09:45 发布
阅读量1.1k 收藏 32
点赞数 17
文章标签： 人工智能 机器学习 深度学习 本地化部署 langchain 大模型 程序员
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81940605/article/details/144886673
版权

前言

RAG 全称 Retrieval-Augmented Generation，翻译成中文是检索增强生成。这一年多，在大模型应用领域，RAG频繁地出现。为什么它这么热？需要怎么理解看待RAG?

1、为什么需要RAG

虽然大模型有丰富的知识和理解生成能力，但它的信息量并不够，比如企业的私域信息，它并不知道，有些最新的信息出现在训练完成之后，它也不掌握。如果要针对这些信息提问，就需要把相关的信息也一并交给它，让它结合内容回答。有点命题作文的意思。

这里边有些场景比较简单，比如针对论文，可以把问题和论文一起送给大模型，然后大模型根据论文的内容，把问题的答案输出出来，比较完整。

但实际上，私域的信息量非常大，远超过一次能够提交给模型的内容，这时候，就需要一种技术，把跟问题相关的内容准确的提取出来，送给模型。可以说，内容提取的质量，直接决定大模型的回答质量。

2、向量搜索

向量搜索（Vector Search）也叫矢量搜索。它是用机器学习的方法来捕获非结构化数据（包括文本和图像）的含义和上下文，并将其转换为数字化表示形式。向量搜索常用于语义搜索，通过利用相似最近邻 (ANN) 算法来找到相似数据。与传统的关键字搜索相比，向量搜索产生的结果相关度更高，执行速度也更快。

简单地说，向量搜索有两个关键动作，一个是向量化，就是把一段文本，或图形音频等，通过某种编码格式，变成一个矩阵，这个编码动作，叫Embedding(嵌入)。第二个是搜索，一般用相似最近邻（ANN）算法，来找到距离最近的结果。这个距离最近的结果，就是含义最相近的结果。向量搜索也叫语义搜索。

以上动作，理解过程并记住名字就可以了。为什么距离最近含义就相似，让数学家和算法专家去搞吧，一般人整不明白这个，知道怎么回事就行了。

注：Embedding非常复杂，它不是一个简单的算法，而是用专门的Embedding模型。

下图就是一个比较简单的过程。

【AI大模型RAG】通俗地说说RAG及其与大模型的结合_ai

3、基于向量搜索的RAG架构

以下是一个最简单的向量搜索RAG架构示意图：

【AI大模型RAG】通俗地说说RAG及其与大模型的结合_agi_02

该架构关键有两个：

  1. 预处理文档。将文档的文本抽取出来（最初的大模型只能处理文本，所以只抽文本），分段，然后针对每一段作embedding存入向量数据库。
  2. 查询时，先把问题作Embedding,然后在向量数据库里把和问题最相关的内容（一般取Top K）取出来，将这些内容和原始问题结合，生成新的Prompt送给大模型，由大模型生成答案。

下面这个图更详细，包括了搜索的结果和重新生成prompt的例子

【AI大模型RAG】通俗地说说RAG及其与大模型的结合_人工智能_03

RAG方案，解决了大模型数据不足的问题，而处理数据是个核心需求，所以，备受重视。

实际发展中，针对文档的处理一直在进化。最初的分段（chunks)简单粗暴，就是把文本按长度截取，有些带格式的文档，比如word,pdf,分栏的时候，直接物理抽取，有时候内容就不伦不类，当然，基于这样的分段，大模型的回答也会比较乱。后来，针对各种文档抽取，图形结合的能力不断进步，效果也进步迅速。

4、图搜索RAG

向量搜索的方法一直在进步，但问题也一直在。虽然向量搜索技术能找到相似度很好的，但它无法进一步地理解私有数据中各个有效信息的关系，从而构成自己的知识网络，因此难以提供综合性的见解，也无法全面理解多个私有文献甚至单个文档的全部内容，因此往往无法回答抽象或总结性问题，自然也无法给大模型提供足够好的信息。

当前解决这些问题的办法，是知识图谱。

知识图谱：是结构化的语义知识库，用于描述物理世界中的概念及其相互关系。

知识图谱通过对错综复杂的文档的数据进行有效的加工、处理、整合，转化为简单、清晰的“实体,关系,实体”的三元组，最后聚合大量知识，从而实现知识的快速响应和推理。

原理表达是这样的：

【AI大模型RAG】通俗地说说RAG及其与大模型的结合_agi_04

一个具体的例子：

【AI大模型RAG】通俗地说说RAG及其与大模型的结合_LLM_05

知识图谱已经发展了一些年，如何用于RAG?
微软最近开源了一个新的基于知识图谱构建的 RAG 系统——GraphRAG。Graphrag 框架旨在利用大型语言模型从非结构化文本中提取结构化数据，进而构建具有标签的知识图谱，以支持数据集问题生成、摘要问答等多种应用场景。GraphRAG 的一大特色是利用图机器学习算法针对数据集进行语义聚合和层次化分析。(详见论文1）
它的主要过程是这样的：

【AI大模型RAG】通俗地说说RAG及其与大模型的结合_ai_06

相对向量搜索，它在分段后，加入了元素和关系的一系列处理，形成答案，这个答案，已经不是原始内容，而是经过图搜索以后总结内容。
基于图搜索的RAG架构与向量搜索非常相似,只是搜索过程变了一下。

【AI大模型RAG】通俗地说说RAG及其与大模型的结合_人工智能_07

目前看，基于图搜索的RAG有点火，但后续进展，还需要观察。

5、更复杂一点的RAG

上边是一些RAG的简单的原理性的图，比较简单直接。这种简单架构，称之为Naive RAG(朴素RAG，天真RAG?)。实际上，RAG针对不同问题，有不同的解决方案，有一些是复杂一些的，一般叫高级RAG(Advanced RAG)，比如下边这个：

【AI大模型RAG】通俗地说说RAG及其与大模型的结合_语言模型_08

它把查询做了更复杂的路由处理，以期取得更好的效果。

下边这个，把向量搜索和图搜索结合在一起：

【AI大模型RAG】通俗地说说RAG及其与大模型的结合_ai_09

下图中间的Advaned RAG，进行了检索后处理。检索到相关上下文后，将其与查询有效集成至关重要。后检索过程中的主要方法包括 rerank chunks 和 context compressing。重新对检索到的信息进行排名，将最相关的内容重新定位到提示的边缘是一项关键策略。

【AI大模型RAG】通俗地说说RAG及其与大模型的结合_LLM_10

RAG 的三种范式之间的比较。（左）Naive RAG 主要由三个部分组成：索引、检索和生成。（中）Advanced RAG 围绕 pre-retrieval 和 post-retrieval 提出了多种优化策略，其过程类似于 Naive RAG，仍然遵循链状结构。（右）模块化 RAG 继承并发展自以前的范式，总体上表现出更大的灵活性。（详见论文2）

6、总结

RAG解决了一个大模型无法实时获取外部数据的问题，是一个非常大的进步。

但RAG方案真的很好吗？我觉得不够好。
打个比方，这个外部查询数据再送给大模型的方法，有点类似于一个教授在写论文，但它依靠的输入是一个小学生查的资料，并且这个资料它还必须用。你说教授能写出好论文？

但当前也没有更好的方案来解决这个问题。所以，在没有更好的方案之前，它仍然是最好的。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

【大模型】大模型RAG检索增强生成技术使用详解
congge
11-17 5987
大模型RAG检索增强生成技术使用详解
大模型微调部署实战及类GPT工具的高效使用
热门推荐
herosunly的博客
07-24 19万+
本文主要介绍了专栏《大模型微调部署实战及类GPT工具的高效使用》的核心内容，希望对使用大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 专栏亮点 3. 你的收获 4. 详细目录
AI 如何匹配 RAG 知识库：混合检索的力量
ya766829的博客
10-26 629
在应用知识图谱时，可以通过语义检索和向量检索等方法，快速找到与查询相关的实体和关系，为决策支持、智能推荐等任务提供依据。它的核心思想是在生成文本的过程中，从外部知识库中检索相关的信息，然后将这些信息融入到生成的文本中，以提高生成内容的准确性和可靠性。例如，在撰写新闻报道、故事创作等任务中，系统可以从知识库中检索相关的事件、人物、背景信息等，然后将这些信息融入到生成的文本中，提高文本的质量和可信度。混合检索可以通过多种方法的组合，扩大检索的范围，确保尽可能多地找到与查询相关的知识。
通俗地说说RAG及其与大模型的结合
2401_85375186的博客
12-02 924
RAG解决了一个大模型无法实时获取外部数据的问题，是一个非常大的进步。但RAG方案真的很好吗？我觉得不够好。打个比方，这个外部查询数据再送给大模型的方法，有点类似于一个教授在写论文，但它依靠的输入是一个小学生查的资料，并且这个资料它还必须用。你说教授能写出好论文？但当前也没有更好的方案来解决这个问题。所以，在没有更好的方案之前，它仍然是最好的。END。
一文搞懂大模型 - RAG（检索、增强、生成）
kuokay的博客
03-22 1107
RAG（检索-增强-生成，Retrieval-Augmented Generation）是一种结合了信息检索与文本生成的技术框架，旨在通过动态引入外部知识提升生成模型的效果。
用通俗易懂的方式讲解：一文详解大模型 RAG 模块
2301_78285120的博客
02-02 9546
RAG 技术是一种检索增强生成的方法，结合了大型语言模型和检索系统的优势，以提高生成内容的准确性、相关性和时效性。相比于仅依赖大型语言模型的生成，RAG技术可以从外部知识库中检索信息，避免了模型的幻觉问题，并提升了对实时性要求较高问题的处理能力。与传统的知识库问答系统相比，RAG技术更加灵活，可以处理非结构化的自然语言文本。RAG并非旨在取代已有的知识库问答系统，而是作为一种补充，强调实时性和准确性，并且通过结合生成和检索机制来提升自然语言处理任务的效果。增强数据获取。
一篇RAG与大模型结合的最新全面综述！
Datawhale
05-31 1010
检索增强型生成（RAG）能够为像大型语言模型（LLMs）这样的生成型 AI 模型提供可靠和最新的外部知识，增强其能力。LLMs 已经展示了革命性的语言理解和生成能力，但仍然面临着幻觉和过时的内部知识等局限性。检索增强型大型语言模型（RA-LLMs）利用外部知识来解决 LLMs 的局限性，减少仅依赖内部知识的情况。图1：检索增强型生成（RAG）遇见大型语言模型（LLMs）。当用户的查询超出范围时，例...
【AI大模型RAG】通俗地说说RAG及其与大模型的结合
bugyinyin的博客
12-16 726
RAG解决了一个大模型无法实时获取外部数据的问题，是一个非常大的进步。但RAG方案真的很好吗？我觉得不够好。打个比方，这个外部查询数据再送给大模型的方法，有点类似于一个教授在写论文，但它依靠的输入是一个小学生查的资料，并且这个资料它还必须用。你说教授能写出好论文？但当前也没有更好的方案来解决这个问题。所以，在没有更好的方案之前，它仍然是最好的。因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。
【AI大模型应用开发】【RAG评估】1. 通俗易懂：深度理解RAGAS评估方法的原理与应用
同学小张的博客
02-25 5419
本文我们针对RAGAS评估方法进行详细介绍。我们将深入其原理，理解其评估指标背后是怎么实现的。都是我根据自己的理解用大白话解释，保证大家能看懂。
AI大模型技术之RAG、模型微调、知识蒸馏
最新发布
Sebastien23的博客
04-12 775
中的核心技术，是指在已训练好的大规模预训练模型（如GPT、BERT、T5等）基础上，针对特定任务（如文本分类、问答、翻译）或领域（如医疗、法律），通过少量标注数据进一步训练，调整模型参数，使其在目标任务上表现更优的技术。（如“猫”90%、“狗”8%、“兔子”2%），其中包含了类别间的隐含关系（如“猫”和“狗”的相似度高于“猫”和“兔子”）。（Generation）的自然语言处理（NLP）技术，旨在通过外部知识的检索来增强模型的生成能力，解决传统生成模型（如GPT）在处理需要。时引入一个温度参数T。
大模型/ChatGPT/AIGC、论文审稿、具身智能、RAG等11大系列集锦
2401_86435672的博客
09-26 1711
学术论文GPT的源码解读与二次开发：从ChatPaper到gpt_academic// 待更…
大模型+检索增强（RAG、Atlas 和 REPLUG）
ZhengrongYue的博客
09-19 1万+
大模型+检索增强/图谱增强（RAG、Atlas 和 REPLUG）
大模型应用相关技术：RAG 与 Agent
小嗷犬的博客
01-29 7128
检索增强生成（RAG, Retrieval-Augmented Generation）是一种自然语言处理（NLP）中的创新方法，它结合了信息检索（IR）和深度学习生成模型的优点，以提高文本生成任务的准确性和上下文相关性。在 AI 和机器学习领域中，RAG 旨在解决大规模语料库中的信息检索与自动生成相结合的问题。AI Agent，全称为人工智能代理（Artificial Intelligence Agent），是计算机科学和人工智能领域中的一个重要概念。它是指一种软件或硬件实体，设计用于模拟智能行为，并能够在
5分搞懂大模型 - RAG（检索、增强、生成）
2401_85327249的博客
09-01 5092
RAG（Retrieval-Augmented Generation，检索增强生成） 是一种结合了信息检索技术与语言生成模型的人工智能技术。该技术通过从外部知识库中检索相关信息，并将其作为提示（Prompt）输入给大型语言模型（LLMs），以增强模型处理知识密集型任务的能力，如问答、文本摘要、内容生成等。RAG模型由Facebook AI Research（FAIR）团队于2020年首次提出，并迅速成为大模型应用中的热门方案。
一文彻底搞懂大模型 - RAG（检索、增强、生成）
2301_78285120的博客
09-01 3816
如何理解RAG？通过上一个问题，我们知道了什么是RAG？了解到RAG是一种结合了信息检索、文本增强和文本生成的自然语言处理（NLP）的技术。RAG的目的是通过从外部知识库检索相关信息来辅助大语言模型生成更准确、更丰富的文本内容。那我们如何理解RAG的检索、增强和生成呢？检索：检索是RAG流程的第一步，从预先建立的知识库中检索与问题相关的信息。这一步的目的是为后续的生成过程提供有用的上下文信息和知识支撑。
一文搞懂大模型技术-RAG（检索增强生成）
Z987421的博客
04-11 1160
检索机制是 RAG 的关键部分。同样，在法律领域，律师需要引用最新的法律条文，而模型只能基于过去的知识生成答案，这显然是不够的。该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。例如，当模型检索到多篇关于“量子计算”的文档时，去噪步骤会排除那些与主题无关或信息不准确的文档，而推理步骤则会从剩下的文档中提取关键信息，生成一个全面且逻辑清晰的答案。
大模型RAG优化方案与实践（非常详细）从入门到精通，看这一篇就够了
玩赚AI大模型的博客
07-17 4054
RAG通过检索现有的大量知识，结合强大的生成模型，为复杂的问答、文本摘要和生成任务带来了全新的解决方案。本文详细的介绍了RAG遇到的挑战、通用范式、工程实践、优化实现策略等。一、RAG的背景介绍随着ChatGPT的兴起，大语言模型再次走进人们的视野，其在NLP领域表现出的语言识别、理解以及推理能力令人惊叹。越来越多的行业开始探索大语言模型的应用，比如政务、医疗、交通、导购等行业。通义系列、GPT系列、LLama系列等模型，在语言交互场景下表现十分抢眼。
大模型的“幻觉”克星！被低估的RAG技术
python122_的博客
07-17 1495
检索增强生成(Retrieval-Augmented Generation)，它通过检索相关信息并将其作为生成过程的一部分，来提高模型生成内容的准确性和相关性。
大模型应用开发，必看的RAG高阶技巧
2301_81940605的博客
04-11 1094
大家好最近一直在探索RAG相关的技术，并且分析了langchain和llamaindex相关技术实现，现在总结和分享一些自己的经验。
补充一下，是在上述银行接入deepseek的基础上，详细解释如何接入rag与lora
02-22
<think>好的，用户之前问过关于银行接入DeepSeek的问题，现在他们想进一步了解如何在此基础上接入RAG和LoRA。我需要先回忆一下之前的对话，确保这次回答能衔接上。用户可能是在银行场景下使用DeepSeek的AI模型，现在想增强模型的能力，比如通过RAG获取外部知识，或者用LoRA进行微调以适应特定任务。 首先，我需要确认用户的具体需求。银行场景下，RAG可能用于实时获取金融政策、市场数据或客户信息，而LoRA可能用于在不改变原有模型的情况下，微调模型以适应风控、客服等任务。需要详细说明两者的步骤，同时注意银行对数据安全和准确性的高要求。 接下来，要分步骤解释RAG和LoRA的接入流程。对于RAG，可能需要构建知识库，选择检索模型，集成到DeepSeek中，并处理数据更新。对于LoRA，要介绍微调流程，包括数据准备、参数设置、训练和部署。需要强调两者如何与现有的DeepSeek系统结合，比如API调用或模块替换。 同时，用户可能需要了解两者的优势和应用场景，比如RAG适用于动态数据，LoRA适合轻量级微调。还要提到注意事项，如数据安全、模型评估和系统监控，特别是银行对合规性和稳定性的要求。 需要确保语言通俗易懂，避免过多技术术语，但也要足够详细，让技术团队能理解步骤。可能还需要提醒用户根据具体情况进行调整，建议在关键步骤进行测试和验证。最后，确认回答覆盖了用户的需求，没有遗漏关键点，并保持结构清晰。</think>在银行系统已接入DeepSeek（深度求索AI模型）的基础上，接入RAG（Retrieval-Augmented Generation）与LoRA（Low-Rank Adaptation）技术可进一步优化模型性能。以下是两种技术的接入逻辑及实施步骤详解： --- ### **一、RAG（检索增强生成）的接入** #### **适用场景** - 需动态结合银行内部知识库（如金融政策、产品手册、客户档案） - 需实时调用外部数据（如市场行情、监管文件） #### **接入步骤** 1. **知识库构建** - 结构化数据：清洗客户交易记录、产品条款等数据库内容 - 非结构化数据：通过NLP处理合同文本、客服对话记录 - 安全处理：对敏感信息脱敏（如***客户证件号掩码***） 2. **检索系统集成** - 选择检索引擎：ElasticSearch（适合文本）或FAISS（高维向量） - 嵌入模型选型：使用`text2vec`或`bge`系列模型生成向量 - 索引策略：对高频查询字段（如产品代码、业务类型）建立分层索引 3. **DeepSeek对接** ```python # 伪代码示例 def rag_inference(query): # 1. 检索相关文档 retrieved_docs = vector_db.search(query, top_k=5) # 2. 构造增强提示 context = "\n".join([doc.content for doc in retrieved_docs]) prompt = f"基于以下信息回答：\n{context}\n\n问题：{query}" # 3. 调用DeepSeek生成 response = deepseek.generate(prompt) return response ``` 4. **动态更新机制** - 设置定时任务（如每天2:00更新利率政策） - 版本控制：对知识库变更记录进行MD5校验 --- ### **二、LoRA（低秩适配）的接入** #### **适用场景** - 需快速适配银行垂直领域任务（如风险评估、工单分类） - 资源受限环境下（如分行本地化部署） #### **微调步骤** 1. **数据准备** - 任务样例：收集客服对话记录（标注意图标签） ```json {"text": "如何办理大额存单？", "label": "product_query"} ``` - 数据增强：使用回译（中->英->中）扩充样本 2. **参数配置** ```yaml # lora_config.yaml lora_rank: 8 # 矩阵秩维度 lora_alpha: 32 # 缩放系数 target_modules: ["q_proj", "v_proj"] # 适配注意力层 ``` 3. **训练实施** ```python from peft import LoraConfig, get_peft_model # 加载基础模型 model = AutoModelForCausalLM.from_pretrained("deepseek-7b") # 注入LoRA peft_config = LoraConfig( r=8, lora_alpha=32, target_modules=["q_proj", "v_proj"], modules_to_save=["lm_head"] # 输出层需全参训练 ) model = get_peft_model(model, peft_config) # 微调训练 trainer = Trainer( model=model, train_dataset=dataset, args=TrainingArguments(per_device_train_batch_size=4) ) trainer.train() ``` 4. **部署优化** - 模型合并：将LoRA权重与原模型融合 ```bash python merge_peft_adapters.py --base_model deepseek-7b --peft_model lora_checkpoint ``` - 量化部署：使用GPTQ对合并后模型进行4bit量化 --- ### **三、联合应用策略** 1. **混合架构设计** ``` [用户输入] → RAG系统（实时获取KYC数据） → LoRA微调模型（领域适配解析） → DeepSeek基础模型（生成响应） ``` 2. **AB测试指标** - 准确率：对金融术语识别率提升监控（如从78%→92%） - 响应时延：检索+生成端到端控制在800ms内 - 合规检查：通过正则表达式拦截敏感信息泄露 --- ### **四、银行场景特别注意事项** 1. **数据安全** - 检索过程使用同态加密（如Microsoft SEAL） - 训练数据需通过DLP系统过滤 2. **监管合规** - 输出结果记录审计日志 - 生成内容添加免责声明水印 3. **灾备方案** - 设置模型置信度阈值（<0.7时转人工） - 保留原始模型快速回滚能力 通过上述方案，银行可在保证系统稳定性的前提下，使AI系统既具备实时知识更新能力（RAG），又拥有垂直领域深度理解能力（LoRA），典型应用场景包括：智能客服应答准确率提升40%、信贷报告生成时间从15分钟缩短至2分钟。建议在正式部署前，先在内网环境进行压力测试（建议模拟2000 QPS并发）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值