弄懂Transformer Layer 和Transformer Block的关系后，豁然开朗

最新推荐文章于 2025-03-24 11:47:10 发布
最新推荐文章于 2025-03-24 11:47:10 发布
阅读量1.7w 收藏 51
点赞数 17
分类专栏： 那些不懂就整理的知识点 文章标签： transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MengYa_Dream/article/details/122699046
版权

一篇论文引发的讨论：
Q：Transformer Layer 和Transformer Block是什么意思？
A： Transformer Layer表示Transformer层，Transformer Block表示Transformer块。
Q：我不是来学英语的，Transformer Layer 和Transformer Block是什么，有什么区别，这张网络图里的哪个部分是Transformer Layer 和Transformer Block？
A： 每个Encoder Block就是一个Transformer block，4个Encoder block 组成一个Transformer Layer。（按照block和layer一样的说法，这里没毛病吧，一百个人一百个哈姆雷特？）
GLPDepth
Q：你确定吗？嗯？
A： 没问题啊。
Q：再给你一次机会，Transformer Layer 和Transformer Block是什么，有什么区别？
A： 静默-我搜一下。
Q：别搜了，你看群里我发的图，再解释一下，到底什么是Trans

最低0.47元/天 解锁文章
【Python深度学习】零基础掌握Transformer Layers 5种方法
Mr数据杨
11-17 203
通过深入探讨了PyTorch中的及其相关组件，本文演示了如何利用这些先进的深度学习工具处理和理解复杂的文本数据。通过结合历史故事的案例，展示了这些工具在现实生活中的潜在应用，从故事提取关键信息，到可视化展示故事特征，每一个步骤都揭示了深度学习在文本处理方面的强大能力。这不仅对历史学家、文学研究者有着重要意义，也为广泛的领域，包括医疗、商业、农业等，提供了新的视角和工具，展现了深度学习技术的广泛应用前景和巨大潜力。
从维度变化角度详解Transformer Layer
guozhengyu123的博客
06-15 3302
Multi-head self attention Scaled Dot-Product Attention
transformer学习
2401_84677954的博客
02-19 686
对于序列中的每个元素，计算其查询向量与所有键向量的点积，然后除以一个缩放因子（通常是隐藏层大小的平方根），以防止点积结果过大。自注意力机制通过计算序列中每个元素与其他所有元素的相关性（或注意力分数），来决定每个元素在序列中的重要性。batch_x (Tensor): 输入的token索引张量，形状为[batch_size, sequence_length]。batch_y (Tensor): 可选的目标标签张量，形状为[batch_size, sequence_length]。
了解并实现一个Transformer Block
日常学习与专研的记录
05-13 3785
本文介绍什么是 Transformer Block，其中包含哪些细节内容。
Transformer初步学习，对于模型各层的介绍
weixin_43900698的博客
04-01 1421
Transformer初步学习
SimplifyingTransformerBlocks
whaosoft143ai的博客
11-28 671
他们的想法是，Pre-LN 块中的归一化会隐式地降低残差分支的权重，而这种有利的效果可以通过另一种机制在没有归一化层的情况下复制：要么在使用残差连接时明确降低残差分支的权重，要么将注意力矩阵偏向 identity / 将 MLP 非线性转化为「更」线性。从图 6 中可以观察到，将深度从 18 个块扩展到 72 个块后，本研究的模型和 Pre-LN transformer 的性能都得到了提高，这表明本研究中的简化模型不仅训练速度更快，而且还能利用更大的深度所提供的额外能力。作者在 4.2 节介绍了详细方法。
H.264 transform block
保福寺计算机 的专栏
10-18 823
    （以前的标准都采用的是8*8块大小的DCT变换，用的多的是Fast-Forward Dct Transform）       变换块大小的选择： 通常来说大的块能够有利于分析全局范围内的相关性。而小的块更好的利用局部适应性, 小的块也有助于减小实现的复杂度；但是小的块带来的缺陷：熵编码时需要添加end-of-block标志，这个多余的开销增大了。       h.264中选用的4*4块，这个小块造成的快效应也比较多，所以需要用In-loop-deblock filter来降低块效应。h.264运
图像处理中的Transformer Block实现与解析
最新发布
qq_18943707的博客
03-24 1007
通过上述代码解析，我们深入了解了Transformer Block在图像处理中的实现细节。该模型通过结合注意力机制和前馈网络，有效提升了特征提取的能力。总结：优势并行计算能力强，适合大规模数据处理。注意力机制能够自动关注重要特征，提升模型的表达能力。不足之处计算复杂度较高，可能不适合实时处理任务。需要大量标注数据进行训练，对小样本场景效果有限。引入多尺度特征：结合不同尺寸的注意力机制，捕获多层次上下文信息。优化注意力计算：探索更高效的注意力计算方法，如稀疏注意力或分块计算。
Transformer Block运算量
胖胖大海的博客
06-10 1509
所以，一个Transformer Block中总的乘法运算量是：HW * C1 * C2 + HW * C1 * C2 + HW * C1 * C1 + HW * HW * C2 + HW * HW * C1 + HW * C1 * C1。为了简单起见，假设C1 = C2 = C，那么总的乘法运算量是：4 * HW * C * C + 2 * HW * HW * C。备注：上述计算过程不包含Layer Nor和Softmax。备注：C1可以不等于C2。备注：C1可以不等于C2。
Swin-transformer block整体理解
m0_43553709的博客
06-19 7530
Swin-transformer block整体理解
李宏毅机器学习【深度学习】（15）【Spatial Transformer Layer】
lance～crazy
08-03 537
#spatial transformer layer why CNN is not invariant to scaling and rotation. can also tranform feature map how to transform an image/feature map image transformation Expansion, Compression, Translation rotation Problem 不能gradient descent interpola
Transformer细节（六）——详解Transformer各层结构和组成及代码实现
weixin_47129891的博客
06-23 2557
这种架构设计使得 Transformer 模型可以高效并行地处理序列数据，并且能够捕获序列中的长距离依赖关系。具体如何并行处理数据，参考我之前的博客Transformer细节（三）——Transformer是并行or顺序处理数据？-CSDN博客。
Transformer
与或
08-11 967
Transformer 就是一个Sequence-to-sequence (Seq2seq) 的model。 Sequence-to-sequence 的model就是 input是一个sequence，由机器自己决定output的长度 有什么的应用是Seq2seq的model呢？ 举例来说一个很好的应用，就是语音辨识 输入是声音讯号，输出是语音辨识的结果 输入和输出的长度，当然是有一些关系，但是却没有绝对的关系，有机器自己决定要输出多少字。 还有机器翻译，和语音翻译 你可能会说，有了语音辨识和机器翻译
TPL 之二 TransformBlock
LHL62411570的专栏
09-12 268
TransformBlock TransformBlock是TDF提供的另一种Block，顾名思义它常常在数据流中充当数据转换处理的功能。在TransformBlock内部维护了2个Queue，一个InputQueue，一个OutputQueue。InputQueue存储输入的数据，而通过Transform处理以后的数据则放在OutputQueue，OutputQueue就好像是一个Buffer...
Transformer模型-线性层（Linear Layer），全连接层（Fully Connected Layer）或密集层（Dense Layer）的简明介绍：通过训练得出最佳拟合线
热门推荐
Ankie资深技术项目经理
04-04 1万+
线性层（Linear Layer）是神经网络中的一种基本层，也被称为全连接层（Fully Connected Layer）或密集层（Dense Layer）。线性层在神经网络中起到的作用是对输入数据进行线性变换。线性层的基本操作可以表示为：(y) 是输出向量。(W) 是权重矩阵，其中的每个元素都是可学习的参数。(x) 是输入向量。(b) 是偏置向量，也是一个可学习的参数。线性层会对输入数据 (x) 进行线性组合，并通过加上偏置 (b) 得到输出 (y)。
Transformer Block 组成部分
2301_79827103的博客
05-16 925
**Self-Attention**：这个机制允许模型关注输入序列中的不同部分，从而为每个位置的词生成一个表示，考虑到输入序列中所有其他位置的词。- **Multi-Head**：通过使用多个注意力头，模型可以捕捉到不同的子空间中的信息，有助于提高表示能力。- **注意力头的数量 (num_attention_heads)**：决定多头自注意力机制中的头的数量。- **前馈网络的中间层大小 (intermediate_size)**：前馈神经网络中间层的大小。- 对输入应用多个自注意力头。
机器学习笔记（8）Transformer(一):self-attention与block
qq_37662375的博客
03-26 2177
这里是关于Transformer的基本介绍，其中提到对于Transformer来说self-attention模块的引入尤为重要，这里简单记录一下对于self-attention的简单理解。 首先self-attention模块的工作原理不很复杂，是说对于一个y=wx，其中w的计算是接借助xi与X中xi的补集点积得到的，这句话描述的不太清晰，但结合第四幅图基本就清晰了。 那么self=attention为什么可以工作哪？图四也给出了原因：self-attention关注的是两个矢量之间的信息传播...
GPT-2 的 Transformer Block 设计与基础 Transformer 的比较
爱猫的小学森
10-09 910
基础 Transformer 和 GPT-2 的 Transformer Block 在 Layer Normalization 的位置上存在显著差异。基础 Transformer 使用的是Post-Norm架构（LayerNorm 在残差连接之后），而 GPT-2 采用了Pre-Norm架构（LayerNorm 在残差连接之前）。这种设计选择上的改进，使得 GPT-2 能在更深、更复杂的模型中训练更加稳定，性能更加出色。
图像识别：CNN、Spatial Transformer Layer（李宏毅2022
linyuxi_loretta的博客
10-16 793
convolutional layer就是，里面有一排filter，每个都是一个3 x 3 x channel 这么大的tensor，每个filter的作用就是抓取图片里的某个pattern，每个pattern需要在3 x 3 x channel那么小的范围内，才能被filter抓出来。pooling本身没有参数，没有要Learn的东西，所以他不是个layer，比较像是个activation function，他就是一个operator，他的行为都是固定好的，没有要根据data学任何东西。
transformerblock
01-13
### TransformerBlock 实现与应用 #### 3.1 TransformerBlock 结构概述 TransformerBlock 是构成 Transformer 模型的核心组件之一。每个 TransformerBlock 主要由两个子层组成：多头自注意力机制（Multi-head Self-Attention, MSA）和前馈神经网络（Feed Forward Neural Network, FFNN）。这两个子层之间通过残差连接（Residual Connection）和层归一化（Layer Normalization）来增强模型性能[^2]。 #### 3.2 多头自注意力机制 (MSA) 多头自注意力机制允许模型在同一序列的不同位置关注不同部分的信息，从而捕捉到更丰富的语义关系。具体来说，输入张量会被线性变换为查询矩阵 \(Q\)、键矩阵 \(K\) 和值矩阵 \(V\)。接着计算这些矩阵之间的相似度得分并加权求和得到最终输出： \[ \text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q K^{T}}{\sqrt{d_{k}}}+M\right)V \] 其中 \(d_k\) 表示键向量的维度大小；\(M\) 则是一个可选的位置掩码用于处理变长序列的情况。为了进一步提升表达能力，在实际操作中通常会采用多个平行运行的单头注意力建模不同的表示空间——即所谓的“多头”。 ```python import torch.nn as nn class MultiHeadSelfAttention(nn.Module): def __init__(self, embed_dim, num_heads): super().__init__() self.embed_dim = embed_dim self.num_heads = num_heads # 定义 QKV 线性映射参数 self.qkv_proj = nn.Linear(embed_dim, 3 * embed_dim) # 初始化权重 nn.init.xavier_uniform_(self.qkv_proj.weight) def forward(self, x): batch_size, seq_len, _ = x.size() qkv = self.qkv_proj(x).reshape(batch_size, seq_len, self.num_heads, 3*self.embed_dim//self.num_heads) qkv = qkv.permute(0, 2, 1, 3) # [BatchSize, NumHeads, SeqLen, EmbedDim/NumHeads*3] q, k, v = qkv.chunk(3, dim=-1) # Split into Query, Key and Value tensors scores = torch.matmul(q, k.transpose(-2,-1)) / np.sqrt(k.size(-1)) attn_weights = F.softmax(scores,dim=-1) context = torch.matmul(attn_weights,v) output = context.reshape(batch_size,seq_len,self.embed_dim) return output ``` #### 3.3 前馈神经网络 (FFNN) 在完成自注意力运算之后，数据流经全连接层组成的简单MLP模块作为后续特征转换环节。该过程可以视为一种局部感知域内的非线性映射函数，有助于增加模型复杂度而不破坏全局依赖特性。一般情况下，此阶段包含两层线性投影以及中间激活单元ReLU: \[ \text {FFN }(\mathrm{x})=\max (\mathrm{W}_{2} \sigma\left(W_1x+b_1)+b_2,\quad W_i,b_i\in R^m,i=1,2 \right.\right)\] 这里选用GELU代替原始论文中的ReLU能够获得更好的收敛效果。 ```python class FeedForwardNetwork(nn.Module): def __init__(self, input_dim, hidden_dim, dropout_rate=0.1): super().__init__() self.fc1 = nn.Linear(input_dim,hidden_dim) self.dropout = nn.Dropout(dropout_rate) self.gelu = nn.GELU() self.fc2 = nn.Linear(hidden_dim,input_dim) def forward(self,x): out=self.fc2(self.dropout(self.gelu(self.fc1(x)))) return out ``` #### 3.4 组合形成完整的 Transformer Block 最后一步就是把上述构建好的各个部件按照一定顺序组装起来，并加入必要的正则项如DropOut防止过拟合现象发生。值得注意的是，在每一个子层后面都附加了一个Add & Norm操作用来稳定训练过程并加速梯度传播效率。 ```python class TransformerBlock(nn.Module): def __init__(self,embed_dim,num_heads,ff_hidden_mult=4,dropout_rate=0.1): super().__init__() d_ff=int(ff_hidden_mult*embed_dim) self.attn_layer_norm=nn.LayerNorm(embed_dim) self.ffn_layer_norm=nn.LayerNorm(embed_dim) self.self_attn=MultiHeadSelfAttention(embed_dim,num_heads) self.ffn=FeedForwardNetwork(embed_dim,d_ff,dropout_rate) self.dropout=nn.Dropout(dropout_rate) def forward(self,x,pad_mask=None): residual=x.clone() # 自注意力机制 + Add&Norm x=self.attn_layer_norm(residual+self.dropout( self.self_attn(x))) # 前馈神经网络 + Add&Norm residual=x.clone() x=self.ffn_layer_norm(residual+self.dropout( self.ffn(x))) return x ```
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MengYa_DreamZ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值