AI大模型学习之白话笔记（二）-- 大模型应用技术架构

上篇文章介绍了GPT和LLM两个概念，看到这篇文章的时候，相信大家应该都已经听说过AI大模型（如GPT系列），大模型就像是大脑，就像孩子从小学习说话和认知世界一样，通过大量的数据学习，能够理解语言、识别图像、玩游戏、写作、作曲等。

如果2023年是AI大模型爆发的一年，很多大厂投入到大模型的研发中，很多创业者通过AI大模型拿到了大笔融资，那对于2024年，将是AI大模型应用大爆发的一年，将有更多的普通人加入到这一浪潮中来。

今天，请跟着我一起来揭开大模型应用的神秘面纱，用最通俗的话语来讲解大模型应用技术架构是如何搭建和工作的，看看我们普通人能不能从中找到机会分到一杯羹？能不能在公司通过AI来提效增收？能不能以AI的优势在老板的视野中脱颖而出？能不能转行做一名AI提示词工程师？能不能成为一个AI产品经理？能不能成为一名AI应用开发者？

常见AI大模型应用

• 问答机器人。我想，大多数人最先想到的是，基于自己的知识库做一个专业领域的问答机器人，因为这是最明显也是最直接的，有强需求存在，也最能通过AI轻松实现。
• 写作机器人。比较早的有Notion AI。目前市面上已经涌现了很多写论文、写小说、写工作总结、写简历、写各种自媒体文案的应用。
• 绘图机器人。最著名的Midjourney。还有Novel AI、AI智绘等。
• 其他。如直播数字人、最新的文生视频Sora，还有很多很多，就不一一举例了。

为什么不直接用chatGPT

很多人可能会问，问答、写作、绘图这些为什么不直接用chatGPT，为什么不直接用Midjourney来生成图片，用Sora来生成视频。

我想主要有以下两个原因：

• 无法整合我们自己独有的数据和知识库。chatGPT是一个通用大模型，无法给予我们需要更加专业更加精准的答复。
• 无法满足个性化需求。比如我们想根据每个不同客户的不同习惯，给予不同的回答，做不同的推荐等。

AI大模型应用的技术架构

AI大模型很复杂，但关于AI大模型的应用其实说起来也很简单，所以大家要是把这块掌握了，到外面跟人吹水，说不定能唬到很多人。

最简单的AI应用技术架构

用简单的来说，就是我们开发一个应用程序，应用程序将prompt（提示词，这个不用多做介绍了吧）发给大模型，大模型就回复一个响应给应用程序，这个应用就完成了。

这就是最常见最简单的套壳，已经能完成大部分的通用需求，能解决很多问题了。

当然，这样的功能肯定还是有限的，就是我上面讲的为什么不直接用chatGPT。

LLM Agent

那么我们要想再进一步，让AI大模型跟我们的系统结合起来，想产生关联，这个时候就需要触发大模型Agent的能力。

这个Agent不要理解为代理，Agent中文翻译过来叫智能体，写程序的同学应该了解OO–面向对象编程，曾经有人提出下一代编程是AO，就是面向智能体编程。

LLM Agent是一种能产出不单是简单文本的AI系统，使用LLM的能力，作为其计算引擎，让自己能够对话、任务执行、推理，实现一定程度的自主行动。它其实理解起来很简单，就是反向提要求。

举一个生活中的场景，比如你想喝奶茶，需要人帮你去买奶茶，如果对方什么也不问直接就去买，那么对方极有可能买回并不是你想喝的奶茶，而如果他反向问你想喝什么奶茶，要不要加糖，要多少甜度的，喝热的还是喝冰的，它问清楚再去买，这样才有可能买到你想喝的。

Function Calling

大模型具有理解和推理的能力，根据你的要求推理出反向要求，这个反向提要求的接口，就是一个叫做Function Calling的技术接口，AI大模型通过Function Calling反问应用程序，这个Function Calling的请求是一个Json结构，我们应用程序就需要对Function Calling的请求进行解析，就会知道它要求我们去调哪个函数（包括函数名和参数）完成什么任务，按照它的指示我们去调用APIs，然后我们将拿到的信息通过prompt返回给大模型。

有同学可能会问，大模型为什么不直接去调用APIs，这个问题问得好，那是因为这个API可能是chatGPT的，也可能是我们自己的，可能是本地的API，也可能是远程的API，而且，我们拿到这个请求后如果让大模型直接去做这件事的话，大模型对接世界上那么多的API，这样毫无防范的大肆执行的话，比如说这个请求是让我们格式化硬盘，让我们执行或者散播一个病毒程序我们也去干吗？那就真是一件非常恐怖的事情了，所以只能是大模型请求我们去干什么，我们把它的请求当作一个建议，需要进行判断。

这样，通过Function Calling我们就可以让大模型拿到它原本不具备而我们又想让大模型掌握的信息，这就极大的扩展了大模型的应用场景。

这里插一句，大家有没有注意到，我们应用程序都是通过prompt跟应用程序请求大模型的，因为prompt是应用程序跟大模型交互的唯一通道。

RAG

RAG的全称是Retrieval-Augmented Generation，中文翻译为检索增强生成。

RAG把一个信息检索组件和文本生成模型结合在一起。RAG可以微调，其内部知识的修改方式很高效，不需要对整个模型进行重新训练。

还是举一个栗子，假如公司知识库有大量的文档，包括公司的各种规章制度，以前我们只能通过搜索，那么现在我们能不能向知识库提问，能够根据知识库里的信息对我们的提问给出一个非常匹配的回答呢。

比如春节放假前，你需要请个假多休息几天，那你需要知道你还剩几天年假，以及公司的请假制度，需要提前多久申请，春节期间是否允许请假，最高可以请几天，以前我们需要问好几个同事，或者查好几个资料，然后通过衡量得出该怎么请假，那如果将员工信息、考勤系统、公司规章制度都整合到了大模型，那么只需要向这个大模型提问，大模型通过检索这些信息，经过推理能直接给你一个最优的请假方案。

这个通过高效的检索利用外部知识的工作就是RAG来做到的，做法是将知识库通过一个叫做Embeddings的技术塞到大模型里面，Embeddings可以理解为向量化，就是把自然语言的知识转换成大模型可以识别的向量，保存到向量数据库。这里的向量我们可以理解它就是一个多维空间里的更适合大模型理解的一种表达方式。

Finetuning

RAG实现比较简单，成本也比较低，但推理速度较慢，对内存需求较高，质量可能无法匹配，那就我们只能训练自己的大模型了，而大模型的参数量非常大，训练成本非常高，如果每家公司都去从头训练一个自己的大模型，这个事情的性价比就太低了。

所以，大家都是在基础大模型的基础上进行微调，这个微调技术就是Finetuning。

通过Finetuning利用自有数据，更好的提升了大模型在特定领域的能力。目前市面上的很多都是通过Finetuning搭建自己的大模型。

上面提到的RAG 可以通过查询最新的外部数据源来处理频繁变化的数据，不需要训练，模型大小不会产生变化，而Finetuning需要一个大型且高质量的标记数据集，需要定期重新训练以保持模型的更新，通过训练来调整整个模型。

RAG和Finetuning为增强大型语言模型提供了互补的优势，大家可以根据自身的需要进行选择。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。
• 内容：
  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
    - L1.4.1 知识大模型
    - L1.4.2 生产大模型
    - L1.4.3 模型工程方法论
    - L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
• 内容：
  • L2.1 API接口
    - L2.1.1 OpenAI API接口
    - L2.1.2 Python接口接入
    - L2.1.3 BOT工具类框架
    - L2.1.4 代码示例
  • L2.2 Prompt框架
    - L2.2.1 什么是Prompt
    - L2.2.2 Prompt框架应用现状
    - L2.2.3 基于GPTAS的Prompt框架
    - L2.2.4 Prompt框架与Thought
    - L2.2.5 Prompt框架与提示词
  • L2.3 流水线工程
    - L2.3.1 流水线工程的概念
    - L2.3.2 流水线工程的优点
    - L2.3.3 流水线工程的应用
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
• 内容：
  • L3.1 Agent模型框架
    - L3.1.1 Agent模型框架的设计理念
    - L3.1.2 Agent模型框架的核心组件
    - L3.1.3 Agent模型框架的实现细节
  • L3.2 MetaGPT
    - L3.2.1 MetaGPT的基本概念
    - L3.2.2 MetaGPT的工作原理
    - L3.2.3 MetaGPT的应用场景
  • L3.3 ChatGLM
    - L3.3.1 ChatGLM的特点
    - L3.3.2 ChatGLM的开发环境
    - L3.3.3 ChatGLM的使用示例
  • L3.4 LLAMA
    - L3.4.1 LLAMA的特点
    - L3.4.2 LLAMA的开发环境
    - L3.4.3 LLAMA的使用示例
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
• 内容：
  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

学习计划：

• 阶段1：1-2个月，建立AI大模型的基础知识体系。
• 阶段2：2-3个月，专注于API应用开发能力的提升。
• 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
• 阶段4：4-5个月，专注于高级模型的应用和部署。

这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓