深度学习-量化-3数据标准
一:数据标准化
1> 数据标准化理解
理解 | 介绍 |
---|---|
概念 | 将原来分布范围不同的数据缩放在一个范围之内,一般来说是标准化到均值为0,标准差为1的标准正态分布,均值为0是为了让数据中心化,让各个维度的特征都平衡; |
作用 | 1. 统一量纲,平滑不同批次和不同层数据间的梯度,防止模型梯度爆炸或者梯度弥散,利于训练;2. 消除奇异数据(离群点)对模型训练的负面影响,加快收敛速度,3. 消除噪声数据对模型的负面影响,防止模型过拟合, 数据通过标准化处理,能够去除量纲干扰,利用小波降噪处理去除随机噪声; |
目的 | 提高模型性能、增强数据可解释性、加速模型训练 |
2> 数据标准化&归一化
1. 最大值归一化
最大值归一化|最大值标准化就是让数据中的每个值都除以最大值,把数据缩放到[0,1]之间:x=x/max(x),这种方法适合数据都是正数的情况,比如图像像素是[0,255]之间的正数,让每个像素值都除以255,就可以把图像像素值归一化到[0,1]之间,还可以对归一化后的数据再减去均值,除以标准差,规范到[-1,1]之间:x=(x-0.5)/0.5