标准化
传统机器学习中标准化也叫归一化,
一般是将数据映射到指定的范围,用于去除不同维度数据的量纲以及量纲单位。
什么是标准化
数据标准化让机器学习模型看到的不同样本彼此之间更加相似,这有助于模型的学习与对新数据的泛化。
常见的数据标准化形式:
标准化和归一化
标准化:
将数据减去其平均值使其中心为0,然后将数据除以其标准差使其标准差为1。
Batch Normalization, 批标准化,和普通的数据标准化类似,是将分散的数据统一的一种做法,也是优化神经网络的一种方法。
批标准化:
不仅在将数据输入模型之前对数据做标准化。
在网络的每一次变换之后都应该考虑数据标准化。
即使在训练过程中均值和方差随时间发生变化,它也可以适应性地将数据标准化。
为什么要做批标准化
批标准化解决的问题是梯度消失与梯度爆炸。
批标准化一种训练优化方法。
如果输入很大,其对应的斜率就很小,反向传播梯度就很小,学习速率就很慢。
梯度消失
关于梯度消失,以sigmoid函数为例子,sigmoid函数使得输出在[0,1]之间。