【深度学习】Group Normalization阅读笔记

Batch Normalization阅读笔记
Batch normalization vs Instance normalization

目前归一化的主要方法：Batch Normalization（2015年）、Layer Normalization（2016年）、Instance Normalization（2017年）、Group Normalization（2018年）

归一化方法通用公式：
$${\hat{x}}_i=\frac{1}{{\sigma }_i}\left(x_i-{\mu }_i\right)$$

$x_i$是某一层的特征，$i$是索引，$i=\left(i_N,i_C,i_H,i_W\right)$对应于特征图的$(N,C,H,W)$。
$${\mu }_i=\frac{1}{m}\sum _{k\in {\mathcal{S}}_i}{x}_k,{\sigma }_i=\sqrt{\frac{1}{m}\sum _{k\in {\mathcal{S}}_i}{\left(x_k-{\mu }_i\right)}^2+ϵ}$$

$$y_i=\gamma {\hat{x}}_i+\beta$$

Si is the set of pixels in which the mean and std are computed, and m
is the size of this set

应用场景

从左到右依次为BN、LN、IN、GN

1、BN（Batch Normalization）：在batch上，对NHW做归一化

S i = { k ∣ k C = i C } \mathcal{S}_{i}=\left\{k | k_{C}=i_{C}\right\} Si​={k∣kC​=iC​}

BN适用于图像分类识别任务

2、LN（Layer Normalization）：在channel上，对CHW做归一化
S i = { k ∣ k N = i N } \mathcal{S}_{i}=\left\{k | k_{N}=i_{N}\right\} Si​={k∣kN​=iN​}
LN适用于序列模型（RNN、LSTM）

3、IN（Instance Normalization）: 在像素上，对HW做归一化
S i = { k ∣ k N = i N , k C = i C } \mathcal{S}_{i}=\left\{k | k_{N}=i_{N}, k_{C}=i_{C}\right\} Si​={k∣kN​=iN​,kC​=iC​}
IN适用于生成模型（风格迁移、图像超分辨率等）

4、GN（Group Normalization）: 先将chanel分组，然后再分组在chanel上做归一化
$${\mathcal{S}}_i=\left\{k|k_N=i_N,\lfloor \frac{k_C}{C/G}\rfloor =\lfloor \frac{i_C}{C/G}\rfloor \right\}$$

GN是极端情况下可等价于LN和IN

GN的tensorflow实现，其他类似，只需在计算 mean和variable更改指定维度即可

import tensorflow as tf

def GroupNorm(x, gamma, beta, G, eps=1e-5):
    N, C, H, W = x.shape
    x = tf.reshape(x, [N, G, C // G, H, W])
    mean, variable = tf.nn.moments(x, [2, 3, 4], keep_dims=True)
    x = (x - mean) / tf.sqrt(variable + eps)
    x = tf.reshape(x, [N, C, H, W])
    return x * gamma + beta

BN vs GN

GN优于BN的地方：

BN依赖于batch_size