0 归一化(N)
0.1 定义
目的:数据缩放,消除量纲,加快收敛,避免数值问题(太大,太小)
把数据变成 (0,1)或者(-1,1)之间 的小数
改变数据分布形状,变换后的数据有范围,可用于稳定数据
0.2 标准化
把数据的 不改变数据分布形状,均值变为0、标准差变为1 的数
在归一化范围内
改变数据分布形状,变换后的数据没有范围,可用于不稳定数据(多异常值,噪声)
0.3 中心化
把数据的 均值变为0,标准差无要求 的数
不在归一化范围内
不改变数据分布形状,变换后的数据没有范围
特征缩放
Rescalin /min-max scaling/min-max normalization/normalization
Mean normalization
Z-score normalization/Standardization
Scaling to unit length
1 批归一化(BN)
Batch Normalization
1.1 提出背景
2015,Google,Sergey Ioffe&Christian Szegedy
DNN难训练的原因