【YOLOv5 Note-2】预归一化（Pre-Normalization）策略

风筝超冷

已于 2024-02-05 21:20:07 修改

阅读量650

点赞数 8

文章标签：人工智能

于 2024-01-23 23:14:52 首次发布

本文链接：https://blog.csdn.net/qq_60245590/article/details/135796689

版权

2.1层归一化（Layer Normalization）在 `PreNorm` 类中的数学原理：

2.2代码实现：

class PreNorm(nn.Module):
    def __init__(self, dim, fn):
        super().__init__()
        self.norm = nn.LayerNorm(dim)
        self.fn = fn 
    
    def forward(self, x, **kwargs):
        return self.fn(self.norm(x), **kwargs)

层归一化:

self.norm = nn.LayerNorm(dim)

前向传播（forward 方法）:

def forward(self, x, **kwargs): 在前向传播过程中，PreNorm 类首先对输入 x 应用层归一化，然后将归一化后的结果传递给 fn 函数或模块。
return self.fn(self.norm(x), **kwargs): 这行代码先对 x 应用层归一化，然后将归一化的结果传递给 fn。这里的 **kwargs 允许传递额外的参数给 fn 函数。