Transformer的代码实现 day04（FFN）

前馈神经网络（FFN）

• 几个线性层、激活函数、归一化层的叠加
  • 注意：归一化是在保持数据分布的前提下，将数据缩放到特定范围，方便运算。
  • 注意：标准化是让不同特征的数据保持相似的尺度，但是会改变数据的分布。
    

前馈神经网络的代码

class PositionWiseFeedForward(nn.Module):

    """
    w2(relu(w1(layer_norm(x))+b1))+b2
    """

    def __init__(self, d_model, d_ff, dropout=0.1):
        super(PositionWiseFeedForward, self).__init__()
        # nn.Linear是一个全连接层，它接受一个输入特征维度和一个输出特征维度作为参数。
        self.w_1 = nn.Linear(d_model, d_ff)
        self.w_2 = nn.Linear(d_ff, d_model)
        self.layer_norm = nn.LayerNorm(d_model, eps=1e-6)
        self.dropout_1 = nn.Dropout(dropout)
        self.relu = nn.ReLU()
        self.dropout_2 = nn.Dropout(dropout)

    def forward(self, x):
        inter = self.dropout_1(self.relu(self.w_1(self.layer_norm(x))))
        output = self.dropout_2(self.w_2(inter))
        return output

参考文献

1. 05 Transformer 中的前馈神经网络（FFN）的实现