【YOLOv5 Note-3】前馈(feed-forward)神经网络层

类定义

class FeedForward(nn.Module):

• FeedForward 类继承自 nn.Module，nn.Module是PyTorch中所有神经网络模块的基类。
• nn.Module允许您创建自己的神经网络层。

nn.Module 是构建所有神经网络层和模型的基类。当创建一个类继承自 nn.Module时，意味着你在创建一个自定义的神经网络层或整个神经网络模型。

构造函数 __init__

def __init__(self, dim, hidden_dim, dropout=0.):

• 构造函数用于初始化 FeedForward 类的实例。
• dim: 输入和输出的维度。
• hidden_dim: 隐藏层的维度。
• dropout: Dropout率，用于正则化以防止过拟合，默认值为0。

网络结构

self.net = nn.Sequential( nn.Linear(dim, hidden_dim), nn.SiLU(), nn.Dropout(dropout), nn.Linear(hidden_dim, dim), nn.Dropout(dropout) )

• 使用 nn.Sequential