GPT是什么？直观解释Transformer | 深度学习第5章 【3Blue1Brown 官方双语】

已于 2024-05-02 16:23:47 修改
阅读量760 收藏 7
点赞数 4
分类专栏： Transformer 文章标签： 人工智能 chatgpt 学习 语言模型 笔记
于 2024-05-02 16:14:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42035282/article/details/138392243
版权

【官方双语】GPT是什么？直观解释Transformer | 深度学习第5章

0:00 - 预测，采样，重复：预训练/生成式/Transformer模型
3:03 - Transformer 的内部结构
6:36 - 本期总述
7:20 - 深度学习的大框架
12:27 - GPT的第一层：词嵌入为向量(embedding)
18:25 - 嵌入空间不仅代表词，还能包含上下文信息
20:22 - GPT的最后一层：向量解码为词(Unembedding)
22:22 - 带温度的 Softmax 函数
26:03 - 下期预告：深入注意力机制

1.0. GPT的解释

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

预测后续内容
在这里插入图片描述
在这里插入图片描述

  • 视频重要内容
    在这里插入图片描述

1.1 Token的解释

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
词的含义不同（以model举例）
在这里插入图片描述
注意力模块的工作：
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
在这里插入图片描述

后续是接多层感知器（MLP）或者叫做前馈神经网络：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

深度学习系列课程
在这里插入图片描述

1.2 权重

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
八个类别：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.3 词嵌入

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
几何角度理解：
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

举个例子：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 点积
    在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
几何角度：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.4 上下文长度

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.5 输出

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 涉及两个步骤
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

1.6 解嵌入矩阵

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.7 Softmax

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

下一章：Attention
在这里插入图片描述

TAICHIFEI
关注
  • 4
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Transformer动画讲解 - 注意力计算Q、K、V
m0_59235245的博客
06-07 822
W_Q的维度通常是(d_model, d_k)，其中d_model是输入嵌入的维度（也是模型的维度），而d_k是Q/K/V向量的维度。假设d_k被设定为128。
直观数学-3blue1brown动画的制作
tugouxp的专栏
10-07 5829
3B1B 动画的制作思路是：根据自己想在场景中展现的内容和效果编写一系列的类，然后通过命令行对每个类进行实例化，前面输入的测试命令其实就包含了类的实例化过程，而每个类被实例化后都将得到一个动画片段，通过视频制作软件将各个片段衔接起来并配音，就能得到大家喜闻乐见的 3B1B 教学动画了。
3blue1brown 深度学习手写笔记
最新发布
m0_74834958的博客
06-19 112
3. Transformer —— 理解QKV
cs_SZHS的博客
04-17 2476
在这一篇中，我们重新认识了词向量，qkv以及他们的意义和作用。在此基础上，后续才能更好的理解decoder的工作原理。接下来，主要会讲解decoder结构和原理，transformer的总体结构，训练和预测流程。如果能找到合适的项目的话，会进行代码层面的学习演示。0.1*v1。
Transformer、Bert、Gpt对比系列，超详细介绍transformer的原理，bert和gpt的区别
热门推荐
L_goodboy的博客
05-23 1万+
Transformer、Bert、Gpt对比系列，超详细介绍transformer的原理，bert和gpt的区别；Transformer、Bert、Gpt对比系列，超详细介绍transformer的原理，bert和gpt的区别
深度学习之神经网络的结构
dianshu1593的博客
01-29 503
神经元 3B1B先讨论最简单的MLP（多层感知器），只是经典的原版，就已经能识别手写数字。 这里一开始我们把神经元看作装有数字的容器，装着一个0~1之间的数字。但是最后更准确一些，我们把神经元看作一个函数，它输入的是上一层所有神经元的输出。 手写数字识别示例 看下面这个手写数字的例子 这个神经网络一开始的地方有很多神经元，分别对应了$28 x 28$的输入图像中的...
GPT是什么？我来告诉小白：学习神器！
04-08
我一直在思考GPT是什么东西，以及它对于我们个人或社会的影响和变革。今天，结合我这段时间的使用经验，我想谈一下我的看法。 我认为GPT是一种信息搜索和甄别能力的“放大器”，它大大增强了我们搜索和理解信息的...
GPT是什么？GPT能帮助你做什么？如何使用GPT？
04-07
3. Transformer（变压器）：是 GPT 的基础架构，是一种深度学习模型。Transformer 使用自注意力机制处理输入序列，可以高效地处理长距离依赖关系和并行计算。这使得 GPT 在许多自然语言处理任务中取得了优异的成绩。...
GPT是什么？GPT能帮助你做什么？
04-03
3. Transformer（变压器）：是 GPT 的基础架构，是一种深度学习模型。Transformer 使用自注意力机制处理输入序列，可以高效地处理长距离依赖关系和并行计算。这使得 GPT 在许多自然语言处理任务中取得了优异的成绩。...
GPT是什么？GPT是什么
03-31
**GPT是什么** GPT，全称为Generative Pre-trained Transformer，是人工智能领域中的一种语言模型。这个模型由美国人工智能研究实验室OpenAI在2018年首次推出，并引起了广泛的关注和应用。GPT系列模型的核心目标是...
带你领会 线性代数 微积分的本质 3blue1brown 动画效果帅出天际
weixin_30933531的博客
10-17 536
前段时间在 哔哩哔哩 上偶然发现了 3blue1brown 精美的动画，配上生动的讲解，非常适合帮助建立数学的形象思维 其中两大系列，非常值得反复观看： 线性代数的本质（Essence of linear algebra） 微积分的本质（Essence of calculus） 主站：http://www.3blue1brown.com/ Youtub...
3B1B深度学习系列视频学习笔记
诸神缄默不语的博客
05-22 4592
3Blue1Brown“深度学习”系列视频学习笔记
3blue1brown
ziyouniao719672119的专栏
09-08 4417
http://space.bilibili.com/88461692/#!
如何在两个小时内快速了解深度学习————3Blue1Brown（内附传送门）
weixin_44143144的博客
08-12 993
内容有些标题党了啊哈哈哈哈哈哈，但是3Blue1Brown的视频真的十分深入浅出，既适合没有基础的人了解深度学习，也适合对深度学习了解不足的人加深理解，这里分享给大家。 这里附上链接 https://space.bilibili.com/88461692/channel/detail?cid=26587 ...
3Blue1Brown: 直观地理解抽象数学概念深度学习概念
tutan123的专栏
04-26 5925
3Blue1Brown是一家制作直观理解数学概念视频的机构。 官方网站https://www.patreon.com/3blue1brown B站视频 :https://space.bilibili.com/88461692/ 给自己一个计划:每周抽时间观看该视频，提高对数学的直观理解。 ...
纯新手入门机器/深度学习自学指南（附一个月速成方案）
量子位
05-27 1万+
原作：Masum Hasan问耕 编译整理量子位 出品 | 公众号 QbitAI怎么入门机器/深度学习？回答这个问题，最先要考虑的问题是：你有多少时间？准备用三个月入门，...
3Blue1Brown推荐教程链接
MissXy_的博客
07-16 6406
3Blue1Brown推荐教程链接 3Blue1Brown：中国官方账号。深入浅出、直观明了地分享数学之美。 哔哩哔哩中文字幕视频：https://space.bilibili.com/88461692/#/ 【官方双语】3b1b推荐时间 #1 Think Twice YouTube链接：https://www.youtube.com/channel/UC9yt...
[学习资源分享]-3Blue1Brown数学课程、李宏毅《深度学习人类语言处理》等
abcdefg90876的博客
04-11 831
小编最近发现了一堆比较好的学习资源，在这里汇总一下，后面有时间慢慢学习！1、3Blue1Brown数学课程之前小编就整理过3Blue1Brown推出的《线性代数的本质》课程的学习笔记，...
1、 什么是GPT？它有什么特点？阐述GPT的优点及缺点？
05-01
GPT（Generative Pre-trained Transformer）是一种基于Transformer架构的预训练语言模型，由OpenAI开发。它的主要特点是可以生成连贯、自然的文本。 GPT的优点包括： 1. 可以生成连贯、自然的语言，能够完成自然语言生成任务； 2. 预训练的模型可以用于多种下游任务，可以通过微调来适应不同的任务； 3. GPT使用Transformer架构，可以处理长文本，并且在处理长文本时可以保持较好的性能。 GPT的缺点包括： 1. 生成的文本可能会存在语义和逻辑上的错误，需要进行后期处理； 2. 模型规模较大，需要大量的计算资源进行训练和推理； 3. 由于是基于无监督预训练的，可能存在潜在的偏差和歧视。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值