BN、LN、IN、GN的异同

 

从左到右依次是BN，LN，IN，GN

 

众所周知，深度网络中的数据维度一般是[N, C, H, W]或者[N, H, W，C]格式，N是batch size，H/W是feature的高/宽，C是feature的channel，压缩H/W至一个维度，其三维的表示如上图，假设单个方格的长度是1，那么其表示的是[6, 6，*, * ]

 

上图形象的表示了四种norm的工作方式：

1、BN在batch的维度上norm，归一化维度为[N，H，W]，对batch中对应的channel归一化。

BN的代码实现，其中x为（N，C*H*W）

        mu = np.mean(x,axis=0)
        sigma2 = np.var(x,axis=0)
        x_hat = (x-mu)/np.sqrt(sigma2+eps)
        out = gamma*x_hat + beta

BN对batch size有依赖，当batch size较大时，有不错的效果。而LN、IN、GN能够摆脱这种依赖，其中GN效果最好。