驯服大模型--大模型RAG调优总结

随着ChatGPT的兴起，大语言模型再次走进人们的视野，其在NLP领域表现出的语言识别、理解以及推理能力令人惊叹。越来越多的行业开始探索大语言模型的应用，比如航空、医疗等行业，针对特定领域设计的大模型往往对大模型的回答严谨程度有更高的要求，要求大模型“言之有据“是在解决细分问题是最基本的要求。

在这样的普遍需求之下，本文将介绍针对大模型回复质量的调优方法，主要将以RAG与超参数设置作为主要切入点，介绍RAG技术基本架构与常见的实现流程，以及影响大模型回复质量的超参数解析。

大语言模型的不足及RAG优化

为了应对大语言模型的不足，通过采用半参数化方法，即RAG（Retrieval-Augmented Generation），结合非参数化的语料库数据库与参数化模型，以解决纯参数化模型的局限性。

大语言模型的不足

• 知识局限性：依赖于训练数据集的广度，难以学习内部数据和专业领域知识；

• 知识滞后性：无法学习模型训练后产生的新知识，且训练成本高，难以频繁更新；

• 幻觉问题：模型可能在不具备相关知识的场景下产生错误输出，且难以区分；

• 数据安全性：企业担心数据泄露，不愿将私域数据用于第三方平台训练，导致应用方案在数据安全和效果上需做出取舍。

RAG优化方向

RAG从数据建立到使用过程，可分为三个阶段，优化过程可从这三个阶段进行：

RAG 检索前：

RAG 检索前对知识的正确向量化对后续知识的检索非常重要：

图片来源：

《中国民航订座系统航班控制管理手册》

1、清理数据

• 清理质量较差的数据

• 保留质量的高的数据

• 补充缺失的定义

2、合理切分

• 合理分段，不采用按字数切分的方式，确保内容不被分割成多段

• 采用 AI 辅助，对分段内容进行总结，去除无关内容

3、QA 对多样性，对一些问题需要提升QA对的多样性，确保在知识检索时可适应用户提问的多样性

4、选择与业务切合的 Embedding 模型及向量数据库

5、知识召回测试

RAG检索中：

RAG 检索中可以对知识的策略进一步调整，让结果更加准确：

• Top N，选取检索结果排列的条数，条数过少可能导致知识没有命中，条数过多则容易导致误导 AI；

• 适当加入上下文信息，让检索结果更符合预期；

• 多路召回，多种方式检索结果，但向量召回的方式比重是最大的；

• 结果重排 Rerank，检索结果重排在某些场景下可以提升检索的正确率；

通过 Reranker 增强 RAG：

图片来源：zilliz官网

RAG检索后：

RAG 检索后可以对结果进行过滤和补充：

• 二次重排，采用AI对结果与上下文的相关性进行打分重排；

• 过滤与筛选，去除重复内容，过滤无关内容；

• 知识补充，对检索的结果进行补充，如补充前后段落内容；

• 知识融合，对检索结果的实体统一做解释说明；

• 反馈机制，记录问题、检索结果及回答，补充及优化 RAG 知识，为知识检索提供多样性数据；

RAG调优检索技术

RAG调优检索技术目前都有较为可行的技术体系，本图展示的是《RAG通用范式的工程实践》中的技术系统，实际应用过程可参考进行裁剪和补充。

恒赢智航会持续推出“驯服大模型”系列文章，旨在分享 AI 在航空领域的应用经验。恒赢智航秉持不断求索、拥抱未来、开源共享的理念，致力于引领该领域的 AI 发展，也会在后续系列文章中分享开源专业领域的相关框架、技术、数据与行业模型，并发布专属于航空领域的AI产品。

如何学习AI大模型？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈

学习路线

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓