【深度学习知识点34】前馈层

前馈层是transformer的重要组成部分

基本概念

前馈层，又称为全连接层（Fully Connected Layer）或密集层（Dense Layer），是神经网络中最基础的组件之一。在Transformer模型中，前馈层通常出现在每一个Transformer编码器（Encoder）和解码器（Decoder）中的每一个自注意力（Self-Attention）层之后。

结构

线性变换：前馈层的输入首先经过一个线性变换，将输入映射到一个高维空间。这个线性变换通常由一个权重矩阵和一个偏置向量实现。
激活函数：经过线性变换后，输入会通过一个激活函数，增加模型的非线性表达能力。常用的激活函数包括ReLU、Sigmoid、Tanh等。
线性变换与输出：经过激活函数后，再进行一次线性变换，将高维空间的特征映射回原始空间，得到前馈层的输出。

作用

特征提取：前馈层通过线性变换和激活函数，可以提取输入数据的复杂特征，有助于模型更好地理解数据。
增加模型复杂度：通过增加前馈层的隐藏单元数量，可以增加模型的复杂度，提高模型的表达能力。
缓解梯度消失问题：在深度神经网络中，梯度消失是一个常见的问题。前馈层中的激活函数可以缓解这个问题，使得模型能够更好地训练。

参考：