前言
在机器学习和深度学习中,我们经常要对输入的数据做归一化或者在隐藏层使用Batch-Normlization(BN)操作,将数据范围缩放到[0,1]
或者[-1, 1]
之间,主要作用:可以加快神经网络训练速度,防止过拟合。然而无论做归一化还是BN处理,虽然将数据的均值变为0,方差变为1,但是数据的整体分布并不一定服从标准的正态分布(实际数据大部分时候都不会是),做归一化和BN时,我们求出来的均值和方差,并不能说明我们数据是服从正态分布的。
我们在进行机器学习/深度学习训练的时候,往往希望数据越接近正态分布越好,这样对于训练效果会有明显的提升。
判断数据是否服从正态分布的指标
我们判断数据分布与标准正态分布之间的差别主要根据两个统计量:偏度(skewness)和峰度(kurtosis)
1. 偏度(skewness)
偏度(skewness),是统计数据分布偏斜方向和程度的度量,是统计数据分布非对称程度的数字特征。定义上偏度是样本的三阶标准化矩。
偏度定义中包括正态分布(偏度=0),右偏分布(也叫正偏分布,其偏度>0),左偏分布(也叫负偏分布,其