大模型学习笔记 | 1.基础知识

一、知识体系架构

二、什么是AI

三、大模型能干什么

大模型，全称「大语言模型」，英文「Large Language Model」，缩写「LLM」。

需要分清对话产品和大模型，ChatGPT是对话产品，GPT4是大模型。

一些大模型应用场景举例：

• 舆情分析： 从公司产品的评论中，分析哪些功能/元素是用户讨论最多的，评价是正向还是负向

• 坐席质检： 检查客服/销售人员与用户的对话记录，判断是否有争吵、辱骂、不当言论，话术是否符合标准

• 知识库： 让大模型基于私有知识回答问题

• 零代码开发/运维： 自动规划任务，生成指令，自动执行

• AI 编程： 用 AI 编写代码，提升开发效率

可能一切问题，都能解决，所以是 ：

AGI（Artificial General Intelligence）通用人工智能。

1. 把大模型看做是一个函数，给输入，生成输出

2. 任何问题，都可以用语言描述，成为大模型的输入，就能生成问题的结果

找落地场景的思路：

1. 从最熟悉的领域入手

2. 让 AI 学最厉害员工的能力，再让 ta 辅助其他员工，实现降本增效

3. 找「文本进、文本出」的场景

4. 别求大而全。将任务拆解，先解决小任务、小场景（周鸿祎：「小切口，大纵深」）

四、大模型是怎么生成结果的？

通俗原理：它是根据上文，猜下一个词（的概率）……

略深一点的通俗原理：

不严密但通俗的语言描述大模型的工作原理：

1. 大模型阅读了人类曾说过的所有的话。这就是「机器学习」，这个过程叫「训练」

2. 把一串 token 后面跟着的不同 token 的概率存入「神经网络」。保存的数据就是「参数」，也叫「权重」

3. 当我们给它若干 token，大模型就能算出概率最高的下一个 token 是什么。这就是「生成」，也叫「推理」

4. 用生成的 token，再加上上文，就能继续生成下一个 token。以此类推，生成更多文字

Token 是什么？

1. 可能是一个英文单词，也可能是半个，三分之一个

2. 可能是一个中文词，或者一个汉字，也可能是半个汉字，甚至三分之一个汉字

3. 大模型在开训前，需要先训练一个 tokenizer 模型。它能把所有的文本，切成 token

再深一点的原理：

这套生成机制的内核叫「Transformer 架构」，还有其他架构。

Transformer架构：

五、用好 AI 的核心

把AI当人看！

六、大模型应用架构

大模型技术分两个部分：

1. 训练基础大模型：全世界只需要 1000 人做这个

2. 建造大模型应用：所有技术人，甚至所有人，都需要掌握

大模型应用技术特点：门槛低，天花板高。

典型业务架构：

Agent 还太超前，Copilot 值得追求。

技术架构：

（1）纯 Prompt

就像和人对话，你说一句，ta 回一句，你再说一句，ta 再回一句……

（2）Agent + Function Calling

• Agent：AI 主动提要求

• Function Calling：AI 要求执行某个函数

• 场景举例：你问过年去哪玩，ta 先反问你有多少预算

（3）RAG（Retrieval-Augmented Generation）

• Embeddings：把文字转换为更易于相似度计算的编码。这种编码叫向量

• 向量数据库：把向量存起来，方便查找

• 向量搜索：根据输入向量，找到最相似的向量

• 场景举例：考试时，看到一道题，到书上找相关内容，再结合题目组成答案。然后，就都忘了

（4）Fine-tuning

努力学习考试内容，长期记住，活学活用。

如何选择技术路线：

值得尝试 Fine-tuning 的情况：

1. 提高大模型的稳定性

2. 用户量大，降低推理成本的意义很大

3. 提高大模型的生成速度

基础模型选型，也是个重要因素。合规和安全是首要考量因素。

然后用测试数据，在可以选择的模型里，做测试，找出最优。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓