1.为什么需要归一化?
加快网络的收敛,避免出现梯度弥散
2.归一化与标准化的区别?
同:都是一种线性变化,都是按照比例在进行缩放与偏移
不同:归一化是将数据归一化到[-1,1]或者[0,1]的分布,由变量的极值决定其缩放。标准化是将数据转化为均值为零当差为1的正态分布
3.为什么需要进行归一化或者是标准化?
加速训练(结合激活函数及其梯度进行阐述),0与100与0与10之间的区别,转换到相同的特征空间
4.归一化的类型?
[-1,1],[0,1],标准差标准化
5.标准化之LRN、BN
LRN(局部响应归一化):首见于ALEXNet,响应较大的值变得相对更大,并抑制响应较小的值,增加了模型的泛化能力
BN:输入数据进行归一化之后,经过了f(wx+b),f代表激活函数,其数据分布可能发生改变,随着网络的深度更深,其变化不断累计,即InceptionV2中阐述的协方差偏移,为了解决这个问题,将输出的数据分布再次强制转换为标准的正态分布
6.BN的优点?
某些情况下可以取消Dropout以及L2、代替了LRN、破坏了数据的分布,避免了模型的死记硬背,一定程度上减轻了过拟合、较少了梯度消失的情况(结合激活函数及其梯度考虑)、
7.BN适用范围?
bs应该更大、对于数据生成方面并不合适
8.BN的训练与测试?
均值与方式是对整体的训练集进行统计的,每一个批次的均值和方差求平均,但是各种深度学习的开源框架中,其实是用了一种动量的思想来模拟求平均的。测试时便利用该结果
9.BN、LN、IN、GN的对比?
书上