《大模型应用开发极简入门》-当有了一个大模型，你需要知道的几件事情

人工智能小豪

于 2024-08-23 17:56:14 发布

阅读量420

点赞数 13

文章标签：人工智能 langchain 自然语言处理大模型 LLM ai大模型编程

本文链接：https://blog.csdn.net/2301_81888214/article/details/141471790

版权

从某种意义上来说，大模型（LLM-Large language model）也是一个任人打扮的小姑娘，你可以对她进行课程教学（即微调）、可以告诉她一些问题的应对办法（即提示工程）、还可以带上一部计算器来做数学题（即插件），当这些事情你都做了以后，你希望她能够随时随地帮助你，那么或许在你们之间建立一个专属的对话通道（即应用程序）就很有必要了。

这本《大模型应用开发极简入门》就是力图教会你如何做好以上描述的各个事项的一本书，全书篇幅很小，总共5个章节：1.初识GPT-4和Chat-GPT，2.深入了解GPT-4和ChatGPT的API，3.使用GPT-4和Chat-GPT构建应用程序，4.GPT-4和Chat-GPT的高级技巧，5.使用LangChain框架和插件增强LLM的功能。虽然说是以GPT-4和Chat-GPT为基础进行的内容描写，但应用在目前国内一些主流厂商的大模型上也是同理。这本书面向的是最好稍微有点编码基础的人，不过就像我一样，就算没有也没关系，先了解一点基本原理，掌握方法逻辑也是很有价值的一件事。

通过这本书，我们可以知道些什么呢？

AI有“幻觉”并且会“欺骗”

由于大模型生成内容是一种基于概率的文本延续，所以不能指望她们有很强的逻辑性，非常明显的一个关于“幻觉”的场景就是大数乘法，比如你询问大模型19273*2319等于多少，她这个回答：

在这里插入图片描述

但是你拿出计算器一算就会发现，尽管AI回答地非常自信，但这根本不对。

关于“欺骗”则较为复杂一点，假设有一个AI模型，它被训练了大量的医学文献，但主要集中在传统西医领域。当提问者问：“中医理论中，如何理解‘肝火旺盛’？”这个AI模型可能因为训练数据中缺乏中医知识，而无法提供准确的解释，甚至可能会错误地引用西医的概念来回答，比如将“肝火旺盛”与肝脏疾病混淆，这样就“欺骗”了提问者，使其得到了错误的信息。

因此是在医疗咨询等真相至关重要的问答上，或者是需要通过强逻辑分步骤解决的问题上，要谨慎使用基础大模型。

通过“插件”和“微调”增强能力

前面说AI没办法很好地完成大数乘法，同时由于大模型的训练是根据互联网已有信息而无法了解实时更新的内容，则无法回答“即时性”问题，解决的办法就是“插件”。

目前通过插件让大模型可以执行以下操作：

检索实时信息、检索基于知识的信息、代表用户执行操作、准确地执行数学运算。

而“微调”过程涉及使用特定的一组新数据重新训练现有的大模型。训练好的新模型专为特定任务而设计，这个额外的训练过程让模型能够调节其内部参数，以适应给定的任务。比如采用金融文本数据进行微调的模型应该能够更好地回应针对该领域的查询并生成相关性更强的内容

把大模型当做一个“许愿池”

假设我们现在把我们已有的这个大模型做好了微调训练、并且也选定了所需插件，接下来，该开发我们的应用程序了。如何做呢？很简单，将大模型当作一个“许愿池”就好：大模型的API服务为开发人员赋予了新的能力，无须深入了解AI技术，开发人员就可以构建能够理解和回应自然语言的智能应用程序。

一句话总结：在开发中将大模型API被视为外部服务，通过应用程序的后端进行访问。

在这里插入图片描述

为了控制用户许愿的内容不至于过于离谱，还需要做好两件事：

1.添加分析层来过滤用户输入和模型输出，这就好比你总不能跟许愿池要个老婆。

2.提示词注入不可避免，需采取一定的预防措施，这就是说你不能把许愿池水用个大桶给装走。

给用户正确的“许愿姿势”

既然已经基于大模型构建了一个神奇的“许愿池”，接下来的关键一步便是引导用户以正确的“许愿姿势”，即有效地提出恰当且富有成效的prompt（提示词）。什么样的姿势才正确呢？包括以下两点：

首先、设定清晰的“许愿指南”。如同真实世界中的许愿池旁常有指示牌告知人们如何许愿，我们也应为用户制定一套简洁明了的操作手册或交互提示。这份指南应涵盖基本的prompt结构、关键词使用规范、提问技巧等内容，帮助用户理解如何精准、高效地向大模型传达意图。

其次、提供丰富的“许愿示例”。直观的实例往往比抽象的规则更具指导意义。创建一个包含各类典型prompt的示例库，让用户在实际操作前先睹为快，了解何种类型的提问能得到满意答复，何种表述可能导致模型困惑。这些示例应覆盖应用的主要功能领域，并随着用户反馈和模型升级不断更新，始终保持其时效性和参考价值。

如此一来，每位用户都能像手持魔法棒的魔法师，准确而优雅地向“许愿池”投掷出蕴含智慧之光的愿望石，收获令人满意的答案，共同开启一场与人工智能深度对话的奇妙之旅。

你也可以用个“脚手架”

懂开发的同学都知道脚手架（即开发框架）的重要性，那么大模型应用开发有没有脚手架可供使用呢？还真有，就是LangChain。官方文档如下：https://www.langchain.com.cn/getting_started/getting_started

简单点说，它能做什么：

1、架构基石：模块化与链式思维

它是一位技艺精湛的建筑师，精心挑选并巧妙拼接每一块知识砖石，构建起一座巍峨的知识宫殿。LangChain的每个模块代表一种特定的功能组件，如文本生成器、问答系统、知识图谱接口等，它们各司其职，又相互协作。

2、灵动舞步：动态组合与按需定制

LangChain犹如一位舞姿曼妙的艺术家，随音乐节奏自如变换舞步，应对各种复杂的语言处理需求。其核心优势在于对模块的动态组合与按需定制能力。面对用户的个性化诉求，开发者无需从零开始编写代码，只需像编排舞蹈动作般，选择合适的模块，设定其在链条中的位置与交互规则，即可迅速构建出适应特定场景的应用程序。

3、智慧灯塔：跨模型协同与知识融合

在LangChain的舞台上，各路“AI舞者”并非各自为战，而是通过高效的跨模型协同机制，共同演绎一场精彩绝伦的知识交响乐。不同的大模型、小模型乃至传统算法，能在LangChain的协调下共享信息、互补优劣，实现知识的深度融合与创新产出。

4、安全护航：权限管理与透明审计

在LangChain的华丽舞会中，安全保障如同一道坚固的帷幕，默默守护着每一位参与者的权益。先进的权限管理系统确保各模块间的数据交换遵循严格的访问控制规则，防止敏感信息泄露。同时，LangChain提供透明的审计追踪功能，记录每一次操作的详细过程，便于事后审查与问题排查。

综上所述，《大模型应用开发极简入门》不仅是一本技术指南，更是开启大模型应用开发之旅的钥匙。它以精炼的篇幅、清晰的脉络和丰富的实例，帮助读者快速建立起对大模型应用开发的整体认知，掌握从基础操作到高级技巧的各项技能。无论读者是否有编码基础，都能从中受益匪浅，为进一步探索和创新大模型应用打下坚实基础。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望