文章目录
1 综述
本文主要从何凯明2018年发表的《Group Normalization》出发,对 Group Norm 进行理解。因GPU显存限制和 本身3D CT/MR 影像较大,即使裁剪 patch 后 batch size 也会很小,所以 Group Norm 对医学影像训练有一定效果,同时文中也对提及的其他几种归一化方法进行说明,并给出部分代码和论文链接。
训练深度网络的时候经常发生训练困难的问题,因为,每一次参数迭代更新后,上一层网络的输出数据经过这一层网络计算后,数据的分布会发生变化,为下一层网络的学习带来困难。通过归一化这种方式可以减小图像之间的绝对差异,突出相对差异,加快训练速度。
相关论文连接:
Group Normalization (2018年)
Batch Normalization (2015年)
Layer Normalizaiton (2016年)
Instance Normalization (2017年)
Switchable Normalization (2019年)
归一化层,目前主要有这几个方法,Batch Normalization、Layer Normalization、Instance Normalization、Group Normalization、Switchable Normalization,论文中列出如下几种目前常见的 Normalization 方法:
当输入 Tensor 为 3D 医疗影像,则记为[N, D, H, W, C],这几个方法主要的区别就是在:
-
Group Norm 是将channel分组,把channel进行了划分细化,对 C//G * D * H * W 做归一化,其中G在论文中给出的是32,可解决batch Norm对小batchsize效果不好的问题。三维医疗影像因存在slice,受限于显存大小,一般batch size都很小,GN具有较好的效果;
-
Batch Norm 是在batch上,对 NDHW 做归一化,就是对每个单一通道输入进行归一化,这样做对小batchsize效果不好;
-
Layer Norm 在通道方向上,对 CDHW 归一化,就是对每个深度上的输入进行归一化,主要对RNN作用明显;
-
Instance Norm 在图像像素上,对 DHW 做归一化,对一个图像的长宽即对一个像素进行归一化,用在风格化迁移;
-
Switchable Norm 是将BN、LN、IN结合,在training过程中训练各种权重,让网络自己去学习归一化层应该使用哪种归一化方法,对于不同神经网络都具有较好的效果。
对于对应2D图像归一化总结大家可查看博文;
1.1 Group Normalization
该方法主要是针对Batch Normalization对小batchsize效果差的问题,提出将channel方向分group,然后每个group内做归一化,算(C//G) * H * W 的均值,这样与batchsize无关,不受其约束。文中列出数据对比:
发现当随着batch size的减少,在相同epochs下BN的错误率逐渐变高了,但Group Norm并未受其影响,具有较好的稳定性。
伪代码如下:
def groupNormalization_layer(x, is_train, G=32, esp=1e-5, scope=None):
"""
:param x:input data with shap of[batch,depth,height,width,channel]
:param is_train:flag of normalizationlayer,True is training,False is Testing
:param G:in group normalization,channel is seperated with group number(G)
:param esp:Prevent divisor from being zero
:param scope:normalizationlayer scope
:return:
"""
with tf.name_scope(scope + norm_type):
# tranpose:[bs,z,h,w,c]to[bs,c,z,h,w]
x = tf.transpose(x, [0, 4, 1, 2, 3])
N, C, Z, H, W = x.get_shape().as_list()
G = min(G, C)
x = tf.reshape(x, [-1, G, C // G, Z, H, W])
mean, var = tf.nn.moments(x, [2, 3, 4, 5], keep_dims=True)
x = (x - mean) / tf.sqrt(var + esp)
gama = tf.get_variable(scope + norm_type + 'group_gama', [C], initializer=tf.constant_initializer(1.0))
beta = tf.get_variable(scope + norm_type + 'group_beta', [C], initializer=tf.constant_initializer(0.0))
gama = tf.reshape(gama, [1, C, 1, 1, 1])
beta = tf.reshape(beta, [1, C, 1, 1, 1])
output = tf.reshape(x, [-1, C, Z, H, W]) * gama + beta
# tranpose:[bs,c,z,h,w]to[bs,z,h,w,c]
output = tf.transpose(output, [0, 2, 3, 4, 1])
return output
1.2 Batch Normalization
对输出层进行Batch Norm后,可以放心的使用大学习率,较大的学习率极大的提高了学习速度,
Batch Norm本身上也是一种正则的方式,可以代替其他正则方式如dropout等。而且batch Norm降低了数据之间的绝对差异,有一个去相关的性质,更多的考虑相对差异性,因此在分类任务上具有更好的效果。
算法中两个额外的两个超参,因如果直接做归一化不做其他处理,神经网络是学不到任何东西的。但是加入这两个参数gamma和beta之后,可保证当前Tensor能还原到归一化之前,也即缩放平移到了归一化前的分布,相当于batch norm没有起作用, β 和 γ 分别称之为 平移参数和缩放参数 。这样就保证了每一次数据经过归一化后还保留的有学习来的特征,同时又能完成归一化这个操作,加速训练。
代码如下:
def batchNormalization_layer(x, is_train, esp=1e-5, scope=None):
"""
:param x:input data with shap of[batch,height,width,channel]
:param is_train:flag of normalizationlayer,True is training,False is Testing
:param esp:Prevent divisor from being zero
:param scope:normalizationlayer scope
:return:
"""
with tf.name_scope(scope + norm_type):
# tranpose:[bs,z,h,w,c]to[bs,c,z,h,w]
x = tf.transpose(x, [0, 4, 1, 2, 3])
N, C, Z, H, W = x.get_shape().as_list()
mean, var = tf.nn.moments(x, [0, 2, 3, 4], keep_dims=True)
x = (x - mean) / tf.sqrt(var + esp)
gama = tf.get_variable(scope + norm_type + 'group_gama', [C], initializer=tf.constant_initializer(1.0))
beta = tf.get_variable(scope + norm_type + 'group_beta', [C], initializer=tf.constant_initializer(0.0))
gama = tf.reshape(gama, [1, C, 1, 1, 1])
beta = tf.reshape(beta, [1, C, 1, 1, 1])
output = tf.reshape(x, [-1, C, Z, H, W]) * gama + beta
# tranpose:[bs,c,z,h,w]to[bs,z,h,w,c]
output = tf.transpose(output, [0, 2, 3, 4, 1])
return output
1.3 Layer Normalizaiton
batch normalization存在以下缺点:
- 对batchsize的大小比较敏感,由于每次计算均值和方差是在一个batch上,所以如果batchsize太小,则计算的均值、方差不足以代表整个数据分布;
- BN实际使用时需要计算并且保存某一层神经网络batch的均值和方差等统计信息,对于对一个固定深度的前向神经网络(DNN,CNN)使用BN,很方便;但对于RNN来说,sequence的长度是不一致的,换句话说RNN的深度不是固定的,不同的time-step需要保存不同的statics特征,可能存在一个特殊sequence比其他sequence长很多,这样training时,计算很麻烦。
与BN不同,LN是针对深度网络的某一层的所有神经元的输入按以下公式进行normalize操作
BN与LN的区别在于:
- LN中同层神经元输入拥有相同的均值和方差,不同的输入样本有不同的均值和方差;
- BN中则针对不同神经元输入计算均值和方差,同一个batch中的输入拥有相同的均值和方差。
所以,LN不依赖于batch的大小和输入sequence的深度,因此可以用于batchsize为1和RNN中对边长的输入sequence的normalize操作。
论文中数据如下,可发现LN用于RNN效果比较明显。
1.4 Instance Normalization
BN注重对每个batch进行归一化,保证数据分布一致,因为判别模型中结果取决于数据整体分布。
但是图像风格化中,生成结果主要依赖于某个图像实例,所以对整个batch归一化不适合图像风格化中,因而对HW做归一化。可以加速模型收敛,并且保持每个图像实例之间的独立。
论文中给出公式如下:
1.5 Switchable Normalization
- 归一化虽然提高模型泛化能力,然而归一化层的操作是人工设计的。在实际应用中,解决不同的问题原则上需要设计不同的归一化操作,并没有一个通用的归一化方法能够解决所有应用问题;
- 一个深度神经网络往往包含几十个归一化层,通常这些归一化层都使用同样的归一化操作,因为手工为每一个归一化层设计操作需要进行大量的实验。
因此作者提出自适配归一化方法——Switchable Normalization(SN)来解决上述问题。与强化学习不同,SN使用可微分学习,为一个深度网络中的每一个归一化层确定合适的归一化操作。适合各种不同的深度网络模型。
公式如下,将IN,BN,LN分别赋予不同的权重,并在训练时学习这些权重。
论文中给出的图表结果如下,可发现Switchable Norm对于不同的网络都具有较好的适应性,且在图像分类中BN权重较高,图像分割迁移网络中IN权重较高,符合认知。