Transformer一文搞懂

已于 2022-03-18 12:00:36 修改
阅读量3.5k 收藏 14
点赞数
分类专栏： # 深度学习高级 文章标签： transformer 深度学习 自然语言处理 opencv 计算机视觉
于 2022-03-18 11:55:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaotiig/article/details/123504168
版权

transformer一天搞懂

1 transformer

为什么这么好：
在这里插入图片描述

1.1 从整体来看transformer干的事情

在这里插入图片描述

在这里插入图片描述
下面这个图和上面的图一样
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

1.2 位置编码

上面的rnn输入进去的字是有顺序的，而在transformer中一起输入，需要加入位置顺序信息。

在这里插入图片描述

1.3 注意力机制（3个向量，3个阶段）

注意力机制的公式：
在这里插入图片描述
需要QKV三个矩阵

1.3.1 从图像上理解

在这里插入图片描述
（1）Q向量是查询向量，我们要找的东西，比如是婴儿，点乘结果越大越相似。
（2）K是键向量，代表各个位置的向量
（3）V是值向量

1.3.2 从nlp上理解

在这里插入图片描述
在这里插入图片描述

3个计算阶段

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

整个计算过程，就说矩阵相乘
在这里插入图片描述

总结步骤：
（1）词向量和权重矩阵相乘分别得到Q,K,V
Q的含义就是要查询的某个东西
K就相当于位置
V就是一个基本值，通过Q和K的计算经过softmax得到了一个注意力的权重，注意力权重乘上这个基本值就得到注意力的值了
（2）Q、K、V根据公式进行计算，主要是点乘得到注意力的值

1.4 多头注意力机制

就说用多个注意力机制的基本模块，bert中用了8个
通俗理解就和卷积层的通道是一个道理，相当于8个通道，多个特征信息。

上面一个注意力机制得到一个V的结果，但是对一个汉字只得到了一个v向量，那这个向量能得到我们想要的结果吗？不一定吧
这里要对比卷积核了，我们在卷积中要用多个卷积核，就说多个输出通道，目的就是为了提取多个特征，那现在你用一组Q,K,V得到的特征不一定好，所以用多组
多头指的就说多组注意力机制，就是多个人去提取它的特征
在这里插入图片描述
在这里插入图片描述

1.5 残差边

残差的作用解决梯度消失，从公式中来看，就说有最下面的公式里面有个1，不会是多个相乘等于0
在这里插入图片描述

1.6 BN和LN

BN就是批标准化
BN不能用到RNN中
在nlp中用的BN比较少，一般用LN,就说LayerNorm

在这里插入图片描述

1.7 整个Encoder流程

就是前面的结合，一共就是3个部分

在这里插入图片描述

在这里插入图片描述

1.8 Decoder

也是由多个基本模块叠加，文中是6个基本块
在这里插入图片描述

1.9 Encoder和Decoder交互

在这里插入图片描述
进一步细节

在这里插入图片描述

在这里插入图片描述

1.10 transformer

transformer就说整个对自然语言处理的流程，核心思想是多头注意力机制。
多头注意力机制是包括多个注意力机制
transformer中用了编码器用了6个多头注意力机制，解码器用了6个多头注意力机制，每个多头注意力机制用了8个注意力机制。

做的一个事情：
拿到了一个序列，对这个序列进行了重新的组合，得到了特征，最后进行分类等任务。

2 BERT

2.1 自然语言处理nlp的基本流程

个人猜想的理解：
（1）把word转换为向量，word2vec
秒懂词向量https://zhuanlan.zhihu.com/p/26306795
（2）Seq2Seq:向量经过解码器和编码器得到另一个序列

（3）最重要的是中间的编码器和解码器
之前都是RNN实现，传统的RNN无法做并行运算
在这里插入图片描述

2.2 BERT的整体架构

（1）基本模块
在这里插入图片描述
在这里插入图片描述

2.3 输入部分由3部分组成

在这里插入图片描述

2.4 mask

在这里插入图片描述

在这里插入图片描述

2.5 模型迁移学习4个步骤

在这里插入图片描述

2.6 bert总结

BERT是使用了transformer的核心模块，外部进行了一些调整。核心是transformer.
Transformer是和cnn,rnn并列的一个东西。
在这里插入图片描述

3 VIT（vision transformer）

2020年10月提出

3.1 如何转换图像作为transformer的输入

通过把图片和nlp类比，得到图像应该转换成什么样的格式输入到网络中
在这里插入图片描述

（1）我们最基本的思路
在这里插入图片描述
把每个像素点的数据替换bert中的汉字
缺点：
Bert中的输入是512个大小，你现在如果把像素点输进去
224*224是50176，长度太大了，会导致参数太大了
在这里插入图片描述

（2）改进方式
在这里插入图片描述

3.2 VIT的整体架构

5步走
（1）第一步是将图片分成小块，论文中是1616，比如图像大小是4848，变成了9个1616的小块。
（2）1616进行flaten拉平，然后将256长度变成768长度，这里博主讲的有些问题，256变成768是因为有3个通道，每个通道是256，3个通道进行拼接就得到了768个长度。
（3）生成位置编码，第一小块就是0，第2小块是1，0变成768维和第二步的相加，1变成768维和第2步的相加
（4）进行多头注意力机制的训练
（5）最后得到9个768长度的向量，然后转换成比如20个长度，进行softmax，得到20类的分类任务。

在这里插入图片描述

在这里插入图片描述

3.3 位置编码

需要告诉模型位置在哪个地方，两种位置编码方式
在这里插入图片描述

在这里插入图片描述

3.4 vit和原transformer的一点不同

在这里插入图片描述

4 代码部分

整个代码都比较简单

参考资料

【1】最好，唐宇迪的网易云课堂
【1】然后是那个，这是一个系列，讲的超级棒https://www.bilibili.com/video/BV1Di4y1c7Zm?p=2&spm_id_from=333.851.header_right.history_list.click
【2】基础，莫凡的自然语言处理
https://www.bilibili.com/video/BV1LA411n73X?spm_id_from=333.999.0.0
【3】很简单理解
https://www.bilibili.com/video/BV1Di4y1c7Zm?spm_id_from=333.999.0.0
【4】VIT
https://www.bilibili.com/video/BV18Q4y1o7NY?spm_id_from=333.999.0.0
【5】手推公式
https://www.bilibili.com/video/BV1UL411g7aX?spm_id_from=333.999.0.0

晓码bigdata
关注
  • 0
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
AI笔记: 关于回归、线性回归、预测残差、残差平方和
Wang的专栏
04-09 4697
关于回归 这里给出了一个典型的回归任务，假设我们要根据商品在线广告的费用来预测每月电子商务的销售量 通常的做法是会收集到很多历史数据，然后假设某个商品他在线广告的费用是1.7的时候，每月电子商务的销售量是368 广告费用是1.5的时候，销售达成340等等，有了这些数据之后，我们希望能学习到在线广告费用，对电子商务的销售量的一个影响 给一个新的数据，我们只知道在线广告的费用假设是2....
一文看懂Transformer内部原理（含PyTorch实现）
郭耀华's Blog | 人工智能领域技术博客
12-21 835
Transformer注解及PyTorch实现 原文：http://nlp.seas.harvard.edu/2018/04/03/attention.html 　　作者：Alexander Rush　　转载自机器之心：https://www.jiqizhixin.com/articles/2018-11-06-10?from=s...
ResNet 网络结构与残差连接介绍
qq_43799400的博客
07-09 4524
ResNet是神经网络中非常著名的网络结构，其中引入了残差连接和批标准化（BN层，Batch Normalization），使得网络深度能够达到百层甚至千层（但上千层的网络效果并不好），实现优良的网络效果。
一文搞懂 Transformer（总体架构 & 三种注意力层）
2401_84033492的博客
05-25 5038
本文将从Transformer的本质、Transformer_的原理_、_Transformer的应用__三个方面，带您一文搞懂Transformer（总体架构 & 三种注意力层）。节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。
一文详解Transformer！！！
weixin_45683677的博客
03-13 1053
解决的问题 RNN 无法并行化，可以考虑使用CNN，但是CNN比较难考虑比较多的信息 这样的话self-attention 应运而生，self-attention可以看到双向的信息，并且b1–b4可以并行被训练出了。 模型原理 首选求出q,k,v b1得出： 只要控制αi，j是0或值那么就可以控制是否只看到local的值了 向量化 muti-head 不同的head可以看到不同的信息 local/far Pos-Encoding 在transformer中e_{i} 是直接加上的，W^{p}
转发《一文理解 Transformer 的工作原理》
Science Evan Blog
07-07 278
这篇文章对于理解Transformer有很大帮助 @author @translator 一文理解 Transformer 的工作原理
Transformer的残差连接
热门推荐
qq_42890800的博客
12-21 1万+
在学习Transformer的过程中，编码器和解码器都用到了残差连接，下面我总结一下残差连接。 假如我们的输入为X，要得到的输出为H(X)。那么我们可以通过 H = F(X) + X，转换为学习F。等得到F的输出后，在此基础上加上X即可得H的输出。 在Transformer中，此时的F即是下图中的Multi-Head Attention和Feed Forward，我们再加上X即可得到需要的输出。下图中的Add & Norm中的Add即为此意。Norm的意思就是在后面跟了一个归一化层。论文原文中的公式
Transformer（二）—— ResNet（残差网络）
深浅卡布星的博客
09-11 1307
统计学中的。
一文理解Transformer的工作原理
01-27
自然语言处理中的Transformer模型真正改变了我们处理文本数据的方式。Transformer是最近自然语言处理发展的幕后推手，包括Google的BERT。了解Transformer的工作原理、它如何与语言建模、序列到序列建模相关，以及它...
搞懂 Vision Transformer 原理和代码系列
01-19
描述中的两个文件名"搞懂 Vision Transformer 原理和代码.pdf"和"搞懂 Vision Transformer 原理和代码.xlsx"暗示了这个压缩包包含了一份详细的PDF文档，可能涵盖了ViT的理论基础、模型结构、训练过程等，而Excel文件...
BERT大火却不懂Transformer？
02-24
Transformer由论文《AttentionisAllYouNeed》提出，现在是谷歌云TPU推荐的参考模型。论文相关的Tensorflow的代码可以从GitHub获取，其作为Tensor2Tensor包的一部分。哈佛的NLP团队也实现了一个基于PyTorch的版本，并...
一文彻底搞懂 Transformer（图解+手撕）
最新发布
zhishi0000的博客
06-19 1786
Transformer 通过其捕捉上下文和理解语言的能力，彻底改变了自然语言处理（NLP）领域。通过注意力机制、编码器-解码器架构和多头注意力，它们使得诸如机器翻译和情感分析等任务得以在前所未有的规模上实现。随着我们继续探索诸如 BERT 和 GPT 等模型，很明显，Transformer 处于语言理解和生成的前沿。它们对 NLP 的影响深远，而与 Transformer 一起的发现之旅将揭示出该领域更多令人瞩目的进展。​。
Transformer系列：残差连接原理详细解析和代码论证
2401_85327249的博客
05-31 699
残差连接可以追溯到2015年何凯明等人正式提出的**`ResNet`**，使得残差连接/网络成为一种基准模型结构，残差连接解决了神经网络随着层数的增多变得难以训练的问题，主要是出现梯度消失，梯度爆炸和网络退化的情况，而残差连接的引入可以有效缓解这些这些问题从而使得网络可以拓展到更深的层数。
Transformer实战-系列教程2：Transformer算法解读2
机器学习与软件工程
02-03 1189
Transformer实战-系列教程2：Transformer算法解读2
Transformer源码解读
guoguozgw的博客
12-26 189
Transformer
经典卷积神经网络之ResNet
weixin_45586836的博客
06-30 919
        随着卷积神经网络深度的不断增加，训练的难度也在不断增大，同时会出现梯度消失的问题。而ResNet就是为了解决这些问题，它能够保证改造后的模型至少不会比原来的模型差。         残差网络模块：         我们可以看到输入传递到残差网络模块之后，
keras构建resnet50网络代码解读
Pr4da的博客
05-18 2631
Resnet50的代码不是由笔者编写，笔者只对代码进行讲解，方便后续使用。原作者博客链接。 为了节省篇幅这里不贴出代码，请访问原作者GitHub查看代码。 Resnet50包含两种基本模块Conv Block和Identity Block，其结构图如下所示： 从图中可以看到，Identity Block的输出和输入必须是有相同的形状（不然residual和input不能相加），这导致卷积提取到的特征长宽和维度不能发生变化，而Conv Block在残差边加入了一层卷积可以对输入的维度进行调整，这可以使残差
Mask-RCNN(2)Resnet101
qq_51143009的博客
04-23 5793
1. M,对应着图像中的CNN部分，其对输入进来的图片有尺寸要求，需要可以整除2的6次方。在进行特征提取后，利用长宽压缩了两次、三次、四次、五次的特征层来进行特征金字塔结构的构造。ask-RCNN使用Resnet101作为主干特征提取网络 2.ResNet101有两个基本的块，分别名为Conv Block和Identity Block，其中Conv Block输入和输出的维度是不一样的，所以不能连续串联，它的作用是改变网络的维度；Identity Block输入维度和输出维度相同，可以串联，用于加深网络的。
一文读懂transformer(CV专享)
CV技术指南（微信公众号）
12-21 2624
导言： transformer在这两年大火，CV界广泛应用transformer模型，充分吸收其idea到自己的领域。考虑到transformer本是应用于NLP的论文，其中很多内容都形成了共识，因此在论文中并未提及，就好像CV中论文提到图像预处理使用center crop , color jitter，但不会详细介绍这两个，这就是CV领域的共识，其他领域的人看到这两个将会很困惑，作为CV中人读transformer会被很多共识内容所折磨，包括很多介绍transformer的博客知乎，都是站...
A Survey of Visual Transformers 2021.pdf
11-29
A Survey of Visual Transformers 2021.pdf

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

晓码bigdata

如果文章给您带来帮助，感谢打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值