Transformer起源及应用---工作原理动画展示

• 1.1 Google新时代

• 1.2 Transformer

• 1.3 GPT-2/GPT-3效果

• 1.4 系统提示

• 1.5 小结

---

Google新时代

最初的Transformer是Google2017年在Attention Is All You Need提出的，当时主要用于文本翻译。

论文地址 https://arxiv.org/pdf/1706.03762

但我们将关注的版本，也就是像 ChatGPT 这样的工具所依赖的类型，会是一个接受一段文本（可能伴随一些图像或声音）的模型，然后预测文章接下来的内容。这种预测呈现为概率分布形式涵盖了很多可能接下来出现的文字片段。

文章简介

主要的序列转导模型是基于复杂的循环或卷积神经网络，包括一个编码器和一个解码器。表现最好的模型还通过注意机制连接编码器和解码器。文中提出了一个新的简单的网络架构transformer 变压器，摒弃原来的递归和卷积思路。在两个机器翻译任务上的实验表明，这些模型在质量上更优越，同时更具并行性，并且需要更少的训练时间。模型在WMT 2014英语到德语的翻译任务上实现了28.4 BLEU，比现有的最佳结果(包括集合)提高了2个BLEU以上。在WMT 2014英法翻译任务中，模型在8个gpu上训练3.5天后，建立了一个新的单模型最先进的BLEU分数41.8，这是文献中最佳模型训练成本的一小部分。通过将Transformer成功地应用于具有大量和有限训练数据的英语选区解析，证明了它可以很好地推广到其他任务。

Transformer

之后Transformer的应用场景扩展到了多个领域，例如ChatGPT接受一段文本（或图像/音频）作为输入，然后就能预测接下来的内容。以预测下一个单词为例，如下图所示，下一个单词有多种可能，各自的概率也不一样：

但有了一个这样的预测下一个单词模型，就能通过如下步骤让它生成更长的文字，非常简单：

1. 将初始文本输入模型；

2. 模型预测出下一个可能的单词列表及其概率，然后通过某种算法（不一定挑概率最大的） 从中选一个作为下一个单词，这个过程称为采样（sampling）；

3. 将新单词追加到文本结尾，然后将整个文本再次输入模型；转 2；

   以上 step 2 & 3 不断重复，得到的句子就越来越长。

这个过程，就是通过重复的预测和选取来生成文本，正是你在使用 ChatGPT或其他大型语言模型时所经历的，模型会逐字地生成文本。其实，我特别希望能有一种功能，即能看到它在选择每个新词时的底层概率分布。

资料来源：3Blue1Brown官网

GPT-2/GPT-3效果

乍一看，你可能觉得预测下一个词似乎与生成新的文字有着天壤之别。但当你有了像这样的预测模型后，你可以试着让它生成一段更长的文字，方法就是给它一个初始的片段，然后随机从刚生成的概率分布中选取一个样本，将这个样本追加到文字中，接着再进行一轮预测，这次的预测需要基于所有新生成的文字，包括刚刚添加的那部分。

来看看生成的效果，这里拿 GPT-2 和 GPT-3 作为例子。下面是在我的笔记本电脑上运行 GPT-2，不断预测与采样，逐渐补全为一个故事。但结果比较差，生成的故事基本上没什么逻辑可言：

在这个动画中，我在我的笔记本电脑上运行 GPT-2，并让它不断地预测与取样下一个文字块，尝试基于一段起始文本生成一个故事。结果呢，这个故事基本上没什么逻辑可言。但是如果换成 GPT-3的API调用，这是同样的基本模型，只是规模更大，突然间就像变魔法一样，这样不仅得到了一个合乎逻辑的故事，这个故事甚至能暗示着神奇的“π”可能是在一个充满数学和计算的世界里。

系统提示

以上这个不断重复“预测+选取”来生成文本的过程，就是 ChatGPT 或其他类似大语言模型（LLM） 的底层工作原理 —— 逐单词（token）生成文本。将这样的工具转化为聊天机器人的一个简单方法是，就是准备一段文本，设定出用户与一个有帮助的 AI 助手交互的场景，这就是所谓的系统提示。

小结

可以利用用户的初始问题或提示词作为对话的开头，接着让 AI 开始预测这个有用的 AI 助手会如何进行回应。为了使这个过程运行得更好，还需要额外的训练步骤，不过总的来说，这就是基本的思路。

以上是对GPT及从宏观角度看数据是如何在Transformer模型中运转的。接下来的章节将继续深入到Transformer内部，详细探讨、解释每一个步骤，拓展看如何根据给定输入来计算预测结果。

（最后膜拜下大佬）

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】