在机器学习和深度学习中,我们经常要对输入的数据做归一化或者在隐藏层使用Batch-Normlization(BN)操作,将数据范围缩放到[0,1]或者[-1, 1]之间,主要作用:可以加快神经网络训练速度,防止过拟合。然而无论做归一化还是BN处理,虽然将数据的均值变为0,方差变为1,但是数据的整体分布并不一定服从标准的正态分布(实际数据大部分时候都不会是),做归一化和BN时,我们求出来的均值和方差,并不能说明我们数据是服从正态分布的。
正态分布的变量有哪些
正态分布只依赖于数据集的两个特征:样本的均值和方差。
均值,样本所有取值的平均
方差,该指标衡量了样本总体偏离均值的程度
正态分布很容易解释,因为:
正态分布的均值,模和中位数是相等的。
我们只需要用均值和标准差就能解释整个分布