深度解析transformer(总结精华)

已于 2023-02-18 16:36:15 修改
阅读量286 收藏
点赞数
文章标签： tensorflow
于 2022-04-04 15:57:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41764371/article/details/123955001
版权

深度解析transformer(总结精华)

参考原博客：https://wmathor.com/index.php/archives/1438/
—

Encoder

在这里插入图片描述

1.Embedding

矩阵行表示有多少个次，列表示dimension(embedding的维度)

2. Positional Encoding

在这里插入图片描述
在这里插入图片描述
结论：随着维度方向增大，sin\cos的震幅会越来越平缓。
在这里插入图片描述
在这里插入图片描述
结论：随着维度增大，振幅会越来越平缓

2. Self Attention Mechanism

在这里插入图片描述

x1/x2/x3/…/xm表示word，q乘每个ki做softmax后，作为该word观察到各个word的权重。
在这里插入图片描述
在这里插入图片描述
C和x的维度一模一样
在这里插入图片描述
Q是nxd矩阵，K是nxd矩阵
在这里插入图片描述
self-attetion的计算复杂度：
在这里插入图片描述

为什么要除根号d？防止输入softmax的数过大，偏导数接近0，梯度消失
在这里插入图片描述

注意：Padding Mask

每个batch-size里面的维度应该是同样的
在这里插入图片描述

在这里插入图片描述

3.Add&Normalization在这里插入图片描述

在这里插入图片描述
X_embedding就是浅绿色那个x1（X_position+X_word-embedding）

在这里插入图片描述

4.Feedforward

在这里插入图片描述

Decoder

在这里插入图片描述

1.Masked Self-Attention

前面的词看不到后面的
在这里插入图片描述

怪才铁头希
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Transformer（二）搞懂Vision Transformer
weixin_43570470的博客
04-28 1984
Vision Transformer模型详解
Transformer详解
qq_33932925的博客
09-17 1245
转载自：https://wmathor.com/index.php/archives/1438/ Transformer 是谷歌大脑在 2017 年底发表的论文 attention is all you need 中所提出的 seq2seq 模型。现在已经取得了大范围的应用和扩展，而 BERT 就是从 Transformer 中衍生出来的预训练语言模型 这篇文章分为以下几个部分 Transformer 直观认识 Positional Encoding Self Attention Mechanis
Transformer的几点笔记
程序的魅力
07-27 344
1、encoder部分可以并行，decoder不可以。因为decode时还是要按顺序，依赖上一个输出； 2、attention有三种，分别是encoder部分的self-attention，以及decoder部分的masked self-attention和encoder-decoder attention，它们之间的异同要搞清楚。 1）在encoder部分的self-attention比较好理解，就是由输入的embeding a,衍生出三个向量，分别是q、k、v，它是由三个转换举证乘以a得到，这三个转
动手学深度学习-16 Transformer
zuyuhuo6777的博客
03-03 564
Transformer 在之前的章节中，我们已经介绍了主流的神经网络架构如卷积神经网络（CNNs）和循环神经网络（RNNs）。让我们进行一些回顾： CNNs 易于并行化，却不适合捕捉变长序列内的依赖关系。 RNNs 适合捕捉长距离变长序列的依赖，但是却难以实现并行化处理序列。 为了整合CNN和RNN的优势，[Vaswani et al., 2017]【paper:Attention Is ...
Transformer 代码阅读
weixin_39014301的博客
08-07 1186
这里写自定义目录标题 参考代码： 链接: link. einsum: 爱因斯坦求和 einops：调整维度 PreNorm：相当于把输入norm后再送入后续模块 Class FeedForward（）：使用全连接层先把维度从dim变为hidden_dim，再变回dim。有点类似SENet中的通道注意力；其实一直不太明白这样做可以改进网络性能。 Class Attention（）： dim： 通过全连接层将c*p²后的维度 heads：multi-heads的个数 self.scale：在softmax（）之
深度学习-Transformer实战系列课程
09-23
Transformer模型是深度学习领域中的一个重大突破，由Google在2017年提出的《Attention is All You Need》论文中首次介绍。Transformer模型以其创新性的注意力机制（Attention Mechanism）取代了传统的序列依赖模型，...
深度学习-transformer解读
02-04
### 深度学习-Transformer解读 #### Transformer简介与架构特点 Transformer模型是近年来自然语言处理（NLP）领域的一项重大突破，它摒弃了传统的循环神经网络（RNN）结构，采用了一种全新的机制——自注意力...
深度学习+NLP+transformer
09-25
深度学习与自然语言处理（NLP）的结合已经成为现代AI技术的核心组成部分，Transformer模型在此领域发挥了巨大作用。Transformer由Google在2017年提出，它摒弃了传统的循环神经网络（RNN）架构，转而采用自注意力...
深度学习-Transformer实战系列
07-17
Tranasformer实战系列课程旨在帮助同学们快速掌握当下Ai领域最火算法模型，通俗讲解transformer架构在NLP与CV领域的核心算法并基于真是数据集与实际任务展开项目实战。课程主要包括四大模块：1.算法讲解；2.论文分析...
基于Transformer的深度学习模型
07-11
这段代码实现了一个基于Transformer的EEG信号分类模型。通过PatchEmbedding对EEG数据进行嵌入，再通过多头自注意力机制捕捉全局依赖关系，最终通过分类头进行二分类。代码中还包括数据的预处理、标准化和训练过程。
Transformer总结——VIT
qq_43733107的博客
10-14 1520
vision transformer
Transformer(二)--论文理解：transformer 结构详解
热门推荐
12-10 1万+
文章目录1. transformer的基本结构2. 模块详解2.1 模块1：Positional Embedding(以下简称PE模块）：2.2 模块2：Multi-Head Attention(多头注意力机制)2.2.1 Scaled Dot-Product Attention（缩放的点积注意力机制）2.2.2 Multi_Head（多头机制）2.3 模块3：ADD2.4 模块4：Layer Normalization2.5 模块5：Feed Forward NetWork2.6 模块6：Masked M
举例理解transformer中的位置编码
qq_41915623的博客
06-07 7957
​ 在transformer的结构图中，由一个“Positional Encoding”，即位置编码，查看了以下资料后，稍微有点儿理解了，记录于此。​ 由于transformer是并行化运算，所以输入的信息中没有位置信，而在语音文本中，绝大部分都是有语序的。例如：我爱你，要是翻译成’“You love me”，那意思就完全不一样了。于是，就有了位置编码，其作用就是让输入数据携带位置信息，是模型能够找出位置特点。​ 在transformer中的位置编码中，其编码公式如下： PE(pos,2i)=sin(
Transformer原理及解析
xiadimichen14908的博客
04-15 827
x# Transformer 视频链接：https://www.youtube.com/watch?v=ugWDIIOHtPA&t=2055s transformer是一个拥有self-attention的Sequence2Sequence模型, Sequence RNN是常用的Sequence模型，在双向的sequence模型中，b1 ,b2 的输入为a1到a4 ,适用于解决序列化的问题常用语音和NLP领域。但是序列化执行难以并行处理。希望采用CNN来替代RNN，实现并行化处理，然而CNN只有高
TensorFlow 的基本概念和使用场景
roc_ever的博客
07-24 340
它的核心概念包括张量、计算图和会话，并提供了丰富的 API 和工具，简化了模型的构建和训练过程。阶是指张量的维度数，形状是指每一维度的大小，类型是指数据的类型（如浮点数、整数等）。TensorFlow 提供了高层次的 API，如 tf.keras 和 tf.estimator，简化了模型的构建和训练过程。TensorFlow 也支持强化学习任务，通过与 OpenAI Gym 等工具结合，开发者可以构建和训练智能体，在不同的环境中进行决策和学习。通过会话，用户可以在计算图中执行操作，并获取结果。
WebKit引领潮流：CSS环境变量全解析
2401_85342379的博客
07-24 1096
CSS环境变量，也称为CSS自定义属性或CSS变量，是一种在CSS中使用的特殊类型的变量。CSS环境变量是一个强大的CSS特性，它为开发者提供了一种新的方式来创建可维护和可扩展的样式表。通过本文的介绍，读者应该已经了解了CSS环境变量的基本概念、基本语法、使用技巧、浏览器兼容性和性能考虑。通过本文的指导，读者可以开始在自己的项目中尝试使用CSS环境变量，享受更自由的样式定制体验。通过本文的指导，您可以开始在您的网页设计中使用CSS环境变量，提升设计的灵活性和可维护性。在这个例子中，我们定义了两个变量。
pi_heif-0.17.0-cp39-cp39-manylinux_2_31_armv7l.whl
最新发布
07-27
pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。
ubuntu20.04-ssh9.8p1-ssl3.0.14-focal-deb-amd64升级加固脚本.zip
07-27
若有新版本请查看文章最后附件地址：https://blog.csdn.net/liuxin638507/article/details/132450367 特点： 1、同时升级openssh与openssl，采用deb包形式，一键快速升级版本，无需每台单独再次进行编译， 2、隐藏openssh-版本号(openssh9.8p1及之后隐藏版本号还未找到方法) 3、已默认安全加固（已有配置跳过） 安装： 执行 bash upgrade_ssl_ssh_ubuntu.sh 进行安装 注意，升级安装后，确保sshd服务正常，请新开终端进行验证测试 验证 openssl版本： openssl version OpenSSL 3.0.14 4 Jun 2024 (Library: OpenSSL 3.0.14 4 Jun 2024) openssh版本： ssh -V OpenSSH_9.8p1, OpenSSL 3.0.14 4 Jun 2024
视觉领域：CNN与Transformer深度解析
"这篇综述探讨了视觉领域中两种重要的深度学习模型——卷积神经网络（CNN）和Transformer。文章详细介绍了CNN的基本结构，包括输入层、卷积层（涉及卷积核、局部连接、滑动窗口、填充、池化层）、全连接层以及经典...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值