三分钟搭建线上RAG应用，实现定制化的知识库问答

由于大模型API价格已成白菜价，AI应用的开发将进入到RAG时代，而由于有了像阿里云百炼这样的一站式平台，普通开发者也能开发定制化的AI SaaS应用。

遥想2023年的3月份，GPT-4的32k上下文的API价格是平均每千字就超过0.5元，如果是加上历史对话，简单的一个问题都要好几块钱。由于价格太贵，很多应用的开发都只停留在简单的对话上，而现在各种大模型成本的降低，才让RAG应用开发成了可能。

比如现在通义千问GPT-4级主力模型Qwen-Long，API输入价格从0.02元/千tokens降至0.0005元/千tokens，这意味着，1块钱就可以买200万tokens，而且还支持1千万tokens长文本输入，大约相当于当前GPT-4价格的1/400，无论是企业部署定制化的客服服务，还是企业内部知识管理，还是其他专业、私有、实时等应用场景，哪怕是中小企业也能够承受这样的成本。

AI应用开发的三种模式

大模型存在很多已知问题，比如信息幻觉（Hallucination），它经常会生成看似合理但实际上不准确或不存在的信息；知识滞后，由于大模型都是基于静态的数据集训练，因此如果保证内容的时效性（尽管现在有了搜索，但是解决不了它训练时数据是静态的问题）；内容不可追溯，由于它不能指出明确的信息来源，甚至还编造来源，影响了它回答的可信度；还有专业知识、私有知识欠缺，上下文有限等等问题。

为了解决大模型遇到的这些问题，提高模型的性能和输出质量，在AI应用开发时，大家往往会采取以下三种方式，即提示工程、微调和RAG：

1. 提示工程 (Prompt Engineering)

通过设计和优化输入提示来引导大语言模型生成更准确和有用的回答，比如通过提供详细和具体的问题描述，引导模型理解问题的意图；为模型提供必要的背景信息，使其能够更好地理解问题的背景和细节；通过给出一些示例回答，引导模型理解期望的回答形式和内容等；

提示工程 (Prompt Engineering)

在ChatGPT刚发布不久，网上就流传各种各样的提示词，比如引导它怎么写出不错的文案，编写出优秀的代码，不过这些提示词都是基于大模型已有的数据和能力而言的。

2. 微调 (Fine-Tuning)

微调是一种通过在预训练模型的基础上，使用特定领域的数据进行再训练，从而使模型在特定任务或领域上表现更好的技术。使用特定领域的数据进行微调，使模型在该领域的表现更加出色。

微调 (Fine-Tuning)

不过微调需要大量的高质量标注数据来进行训练。如果数据不足或者数据质量不高，模型的性能可能无法提升甚至下降。

3. 检索增强生成 (Retrieval-Augmented Generation, RAG)

检索增强生成（RAG）是一种结合检索和生成能力的方法，通过检索相关信息来增强生成模型的回答。在回答问题之前，模型会先检索与问题相关的背景信息和知识，将其整合到回答中，以提高准确性和信息量。这种方法能根据最新的检索结果动态更新和调整回答内容，从而在任务执行中提供最相关且重要的数据，提升模型的性能和准确性。在基于大语言模型（LLM）的问答系统中，RAG确保模型访问最新、可靠的事实，并允许用户查看来源以验证准确性，建立信任。

功能	提示工程	微调	RAG
所需技能水平	低：只需基本了解如何构建提示。	中高：需要掌握机器学习原理和模型架构的知识。	中等：需要了解机器学习和信息检索系统。
价格和资源	低：使用现有模型，计算成本最低。	高：需要大量的计算资源来进行训练。	中等：需要资源来支持检索系统和模型交互，但比微调少。
定制化	低：受限于模型的预训练知识和用户构建有效提示的能力。	高：可以针对特定领域或风格进行广泛定制。	中等：通过外部数据源进行定制，取决于数据源的质量和相关性。
数据需求	无：使用预训练模型，无需额外数据。	高：需要大量的相关数据集进行有效微调。	中等：需要访问相关的外部数据库或信息源。
更新频率	低：依赖于底层模型的再训练。	可变：取决于何时用新数据再训练模型。	高：可以整合最新的信息。
质量	可变：高度依赖于构建提示的技能。	高：针对特定数据集进行定制，提供更相关和准确的响应。	高：通过上下文相关的外部信息增强响应。
使用场景	一般查询、广泛主题、教育用途。	专业应用、行业特定需求、定制化任务。	需要最新信息的情况，以及涉及上下文的复杂查询。
实施难易度	高：使用现有工具和接口，实施简单。	低：需要深入的设置和训练过程。	中等：涉及将语言模型与检索系统集成。

尽管RAG好处很多，但是即使是专业的程序员在面对信息检索、Embedding、向量数据库、搜索数据库、知识库管理、模型管理等时，也会面露难色，不过有了像阿里云百炼这样的一站式大模型应用开发平台，即便你毫无技术基础，也能在几分钟内搭建专属的RAG应用。

三分钟内搭建专属RAG应用

第1步：导入专有、私有、动态的数据

通过导入数据，可以把1000页以内的PDF、Word等文档直接上传到数据管理中心，阿里云文档智能解析服务会自动解析文档，抽取文档内容、层级结构等信息。比如我直接导入了一本《孙子兵法》的PDF文档。

导入数据，支持PDF等常用文档，百炼自会提炼

第2步：将导入的数据创建成知识库

这一步如果是你自己用代码的方式开发，则需要你掌握langchain、embedding模型、向量数据库（比如milvus、Pinecone）、开源的搜索数据库（如Meilisearch、Elasticsearch、Lucene）等知识，会非常复杂，但是使用百炼平台，不需要你有技术基础，只需要按照步骤点几下即可。

复杂的技术概念，只用可视化简单的操作即可完成

智能切分一步到位，无需调用langchain等

第3步：创建并发布RAG应用

接下来我们就可以直接创建并发布自己的RAG大模型了，选择大模型时，推荐通义千问-Max，输入prompt提示词时，需要加上一下变量${documents} 即可，比如：

知识检索增强支持多个文档，自带Elasticsearch

同时，要勾选知识检索增强，并选中之前创建好的知识库，以及回答来源（如果你希望让RAG回答问题都指出来源），然后点击保存并发布即可，到这里我们的RAG应用就已经创建好了。

第4步：调用RAG应用

我们可以直接在百炼控制台，像聊天一样来调用已经发布的应用，不过这个只是用来测试，比如我直接向它提问：“这本书有几个章节”，它不仅会围绕着我上传的《孙子兵法》来回答问题，而且还明确给出具体的出处，再也不会在它不懂的时候“胡说八道”了。

知识检索增强支持多个文档，自带Elasticsearch

就这么一个简单的问题，由于集成了资料，它的输入token是2562个，输出是107个，这在以前影响RAG流行最大的因素就是token太贵，而现在通义千问基本将API的调用打成了白菜价格，即便是在知识库里存放几百万字，RAG应用的对外用户服务的成本也在可控之内了。

而要让你的应用被广大用户使用，则需要懂一点编程知识，比如你可以使用阿里云的FC云函数计算来托管你的应用，也可以将应用集成到一些聊天应用里(比如集成到一些Chat Next Web之类的UI里，不过需要对UI的调用代码进行一点改造)。

用FC云函数即可调用，代码可以转换为多种语言

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】