从零开始了解transformer的机制|第四章：FFN层的作用

最新推荐文章于 2025-03-15 07:01:05 发布

Odd Function

最新推荐文章于 2025-03-15 07:01:05 发布

阅读量2.9w

点赞数 24

文章标签： transformer 深度学习人工智能

本文链接：https://blog.csdn.net/weixin_73179708/article/details/132516512

版权

什么是FFN层？

FFN层就是feed forward层。他本质上就是一个两层的MLP。这个MLP的数学本质是：

其中两层感知机中，第一层会将输入的向量升维，第二层将向量重新降维。这样子就可以学习到更加抽象的特征。

FFN的作用是什么？

转载：

此外，还有关于深度学习可解释性的研究表明，FFN其实有一定的记忆功能。

论文链接：

https://arxiv.org/abs/2012.14913

知乎上大佬的解析：

大型语言模型系列解读（二）：Transformer中FFN的记忆功能 - 知乎 (zhihu.com)

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Odd Function

关注关注

24
点赞
踩
93

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Transformer架构中FFN层激活函数的演进与应用

步子哥的博客

07-07

1440

Transformer模型主要由多头注意力层(Multi-Head Attention)和前馈神经网络层交替堆叠而成。以编码器为例,其结构如下:FFN层在Transformer架构中扮演着重要角色,它能够增加模型的非线性表达能力,帮助捕获更复杂的特征。GLU(Gated Linear Units)严格来说不是一种激活函数,而是一种神经网络层结构。其中,σ是sigmoid函数,⊗表示逐元素乘法。

TPAMI 2024 | DeepNet: 将Transformer扩展到1000层

小白学视觉

11-10

110

— 在本文中，我们提出了一种简单而有效的方法来稳定极深的Transformer。具体来说，我们引入了一种新的归一化函数（DEEPNORM），用于修改Transformer中的残差连接，并伴随着理论上推导出的初始化。深入的理论分析表明，模型更新可以以稳定的方式被限制。所提出的方法结合了Post-LN的良好性能和Pre-LN的稳定训练这两个最佳方面，使DEEPNORM成为首选的替代方案。

2 条评论您还未登录，请先登录后发表或查看评论

前馈神经网络（FFN）

百态老人的博客

12-25

3246

前馈神经网络是一种基础且广泛应用的神经网络模型，其结构简单、易于实现，并且能够通过多层非线性变换处理复杂的任务。通过合理设计网络结构和选择合适的激活函数及优化算法，前馈神经网络可以有效地解决各种实际问题。卷积神经网络（CNN）的广泛应用图像分类：CNN通过提取图像的局部特征（如边缘、颜色和纹理），并通过池化层降低数据维度、保留重要信息，最后通过全连接层进行分类决策。这种结构使得CNN在图像分类任务中表现出色，能够有效地识别和分类图像中的对象。目标检测：CNN不仅识别图像中的对象，还定位它们的具体位置。

Transformer的FFN层是什么

yxx122345的博客

02-24

667

FFN 层其实就是一个“对每个 token 独立处理的小型神经网络”，负责在注意力机制之后进一步提取和转换特征。它在 Transformer 架构中和自注意力层一起，形成了每一层的基本模块。

探秘Transformer系列之（13）--- FFN

weixin_55010563的博客

03-15

827

探秘Transformer系列之（13）--- FFN 从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。探秘Transformer系列之（13）--- FFN目录探秘Transformer系列之（13）--- FFN0x00 概述0x01 网络结构1.1 数学表示1.2 中间层比率1.3 position-wise1.4 激活函数常见函数ReLUGLUGE

大模型算法工程师经典面试题————Transformer中前馈层（FFN）的作用是什么？

u012374012的专栏

11-05

827

前馈层（FFN）本质上就是一个两层的 MLP。这个MLP的数学本质是:其中两层感知机中，第一层会将输入的向量升维，第二层将向量重新降维。这样子就可以学习到更加抽象的特征。在这两层之间会应用一个非线性激活函数，常用的是ReLU（修正线性单元）。

MoE 与 FFN、Transformer 的关系

ttyy1112的专栏

02-18

532

综上所述，FFN是Transformer的基础组件，而MoE是对Transformer中FFN层的一种改进和扩展，它们相互联系、相互补充，共同推动了深度学习在自然语言处理、计算机视觉等多个领域的发展。

Transformer 论文通俗解读：FFN 的作用

AI与算法都要通俗易懂

07-11

1万+

在经过前面3节关于 Transformer 论文的解读之后，相信你对提出 Transformer 架构的这篇论文有了一定的了解了，你可以点击下面的链接复习一下前3节的内容。总的来说，这篇论文虽然重要且经典，但很多关于Transformer 架构的技术细节并没有介绍的很清楚，因此读起来有些晦涩。之前的几节文章在通读这篇论文时，采用的是的方式来进行的。这么做的目的也很简单：帮助你了解这篇论文中每一部分的写作意图是什么。至于论文中没有详细阐述的技术细节内容，本专栏后续会继续完善。

Transformer中的FFN介绍

不要给自己设限，尝试更多可能（思所向皆可往）

03-13

6445

作者：潘梓正，莫纳什大学博士生主页：zizhengpan.github.io（最近看到有些问题[1]说为什么Transformer中的FFN一直没有很大的改进。

聊一聊Transformer中的FFN

zenRRan的博客

03-12

3148

作者：潘梓正，莫纳什大学博士生主页：zizhengpan.github.io来自：青稞AI最近看到有些问题[1]说为什么Transformer中的FFN一直没有大的改动。21年刚入学做ViT的时候就想这个问题，现在读博生涯也快结束了，刚好看到这个问题，打算稍微写写, 也算是对这个地方做一个小总结吧。1. Transformer与FFNTransformer的基本单位就是一层block这里，一个bl...

一文彻底搞懂Transformer - FFNN（前馈神经网络）

2401_85377976的博客

08-21

2708

FFNN的主要作用是接收自注意力层的输出，并对其进行进一步的非线性变换，以捕获更复杂的特征和表示。连接（Connections）：神经元之间的连接，每条连接都有一个权重（Weight），这个权重决定了该连接在信号传递中的重要性。迭代训练：上述步骤（从前向传播到参数更新）会反复进行，直到模型在验证集上的性能达到满意的水平，或者达到预设的训练轮数（epochs）。输出层：负责输出模型的预测结果。增加非线性：神经网络中，如果只有线性变换，那么无论神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当。

江大白 | 基于Pytorch框架，从零实现Transformer模型实战(建议收藏！)

热门推荐

csdn_xmj的博客

05-25

1万+

Transformer作为深度学习进入大模型时代的标志性模型，其强大的性能被广泛应用于各个领域。本文基于Pytorch框架从零开始搭建Transformer模型，不仅有详细的脚本说明，还涵盖了丰富了模型分析，希望对大家有帮助。

【从 0 开始学习 Transformer】上：搭建与理解

我们胃口太大几千几百万都装得下

12-02

1788

1. 前言 2. 参考代码、文章及部分插图来源 3. 在开始前的推荐了解 3.1. 循环神经网络（RNN） 3.2. 基于编码-解码（encoder-decoder）的序列到序列（sequence2sequence）模型 3.3. 注意力机制 3.4. 词嵌入（Word Embedding） 4. 初探 Transformer 5. 基础算法和模块 5.1. 位置编码（Position...

从零开始大模型开发与微调：编码器的实现

AI天才研究院

07-13

2225

随着人工智能在自然语言处理(NLP)领域的快速发展，对大规模预训练模型的需求日益增长。这些大型模型不仅需要具备广泛的语言理解能力，还需要能适应各种下游任务需求。传统上，针对特定任务训练的较小模型往往无法达到所需的泛化效果或性能上限。因此，近年来出现了大量用于大规模数据集上的预训练模型，如BERT、GPT、T5等系列，它们展示了惊人的性能，并且能够通过简单的微调快速适应新任务。

细嗦Transformer（二）: Attention及FFN等细节部分解读和代码实现

Ace_bb的博客

10-14

1525

因此，padding部分是不带有任何语义，也不需要参与注意力计算的，所以需要在计算注意力的得分之前，将padding部分mask掉，通常是将padding位置的得分设为一个非常大的负数，通过softmax后，这些位置的权重接近于0，从而不影响实际有效的token序列。在Embedding的时候，一个token是embbeding成维的向量，如果输入的token长度为4096，一个token embedding成，那么输入层Embedding之后的维度为维，是一个矩阵。的维度不一定与的维度相同。

【深度学习pytorch-72】前馈全连接层FFN

m0_69378371的博客

02-19

673

前馈全连接层是架构中的一个重要组成部分，在每个编码器层和解码器层中都存在。在 Transformer 中，前馈全连接层位于自注意力层或多头注意力层后，用于进一步处理每个位置的输出。前馈全连接层是一个全连接神经网络（Fully Connected Neural Network, FCNN），它接受来自自注意力层（或多头注意力层）的输出并进行变换。这个层通常由两层线性变换（即全连接层）和一个非线性激活函数（通常是ReLU）构成。前馈全连接层的结构线性变换（Linear Transformation）

Transformer的各个块(bottleneck,FFN..)

catrtees的博客

07-25

2928

FFN层，全称为Feed-Forward Network层；Layer Normalization；Softmax；

ZJQ的博客

11-26

491

FFN层，全称为Feed-Forward Network层；Layer Normalization；Softmax；

FFN路径

最新发布

03-30

### 前馈神经网络（FFN）的实现路径与文件目录结构前馈神经网络（Feedforward Neural Network, FFN）作为一种基础的人工神经网络模型，在实际开发中的实现通常依赖于现代深度学习框架，如 TensorFlow、PyTorch 或 Keras。以下是关于其实现路径以及可能的文件目录结构的设计。 #### 1. **核心组件设计** 在构建 FFN 时，主要涉及以下几个部分： - 输入层：接收原始数据。 - 隐藏层：由多个全连接层组成，每层包含若干神经元并使用激活函数处理输入信号[^2]。 - 输出层：提供预测结果或分类标签。这些层次可以通过矩阵运算来表示，并利用非线性激活函数增强表达能力。例如，一个多层 FFN 可以被视作一个复杂的非线性映射 \( \phi(x) \)，将高维空间中的输入向量转化为目标输出[^3]。 #### 2. **基于 PyTorch 的实现示例** 以下是一个简单的 FFN 实现在 Python 中的例子： ```python import torch import torch.nn as nn import torch.optim as optim class FeedForwardNetwork(nn.Module): def __init__(self, input_size, hidden_sizes, output_size): super(FeedForwardNetwork, self).__init__() layers = [] prev_size = input_size # 构建隐藏层 for size in hidden_sizes: layers.append(nn.Linear(prev_size, size)) layers.append(nn.ReLU()) # 使用 ReLU 激活函数 prev_size = size # 添加输出层 layers.append(nn.Linear(prev_size, output_size)) self.network = nn.Sequential(*layers) def forward(self, x): return self.network(x) # 定义超参数 input_dim = 784 # MNIST 数据集图像展平后的维度 hidden_dims = [128, 64] # 隐藏层数组 output_dim = 10 # 分类类别数 model = FeedForwardNetwork(input_dim, hidden_dims, output_dim) criterion = nn.CrossEntropyLoss() # 损失函数 optimizer = optim.Adam(model.parameters(), lr=0.001) # 优化器 ``` 上述代码展示了如何创建一个具有两层隐藏层的简单 FFN 并配置训练所需的损失函数和优化算法。 #### 3. **推荐的项目文件夹结构** 为了便于管理和扩展，建议采用清晰的模块化文件组织形式： ``` project/ │ ├── data/ # 存储预处理的数据集 │ ├── train.csv # 训练数据 │ └── test.csv # 测试数据 │ ├── models/ # 含有不同类型的模型定义 │ └── feed_forward.py # 包含 FFN 类型的具体实现 │ ├── utils/ # 工具脚本集合 │ └── preprocessing.py # 处理数据的方法 │ ├── main.py # 主程序入口 └── requirements.txt # 列出所需库及其版本号 ``` 这种布局有助于团队协作及长期维护，同时也方便后续加入更多复杂功能或者切换其他架构类型[^1]。 ---