Group Normalization

最新推荐文章于 2024-09-16 08:05:46 发布

AI算法网奇

最新推荐文章于 2024-09-16 08:05:46 发布

阅读量2.3k

点赞数

分类专栏：深度学习宝典

本文链接：https://blog.csdn.net/jacke121/article/details/103638131

版权

深度学习宝典专栏收录该内容

998 篇文章 718 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文深入探讨了Group Normalization技术，一种用于深度学习模型的规范化方法，旨在解决Batch Normalization在小批量数据上的性能下降问题。通过将特征通道分组并独立标准化，Group Normalization能够在任何批次大小下保持稳定的表现，提高模型训练的效率和准确性。

摘要由CSDN通过智能技术生成

https://github.com/kuangliu/pytorch-groupnorm/blob/master/groupnorm.py

Group Normalization

import torch
import torch.nn as nn


class GroupNorm(nn.Module):
    def __init__(self, num_features, num_groups=32, eps=1e-5):
        super(GroupNorm, self).__init__()
        self.weight = nn.Parameter(torch.ones(1,num_features,1,1))
        self.bias = nn.Parameter(torch.zeros(1,num_features,1,1))
        self.num_groups = num_groups
        self.eps = eps

    def forward(self, x):
        N,C,H,W = x.size()
        G = self.num_groups
        assert C % G == 0

        x = x.view(N,G,-1

了解本专栏