深度学习中的数据归一化

最新推荐文章于 2024-07-30 09:34:13 发布

柠檬巧克力、

最新推荐文章于 2024-07-30 09:34:13 发布

阅读量1.8k

点赞数 1

文章标签： python 算法机器学习人工智能

本文链接：https://blog.csdn.net/qq_35535616/article/details/111151351

版权

最近在做低氧舱滞后时间模拟的项目中遇到了输入数据量纲不同的情况，使用归一化和直接学习对比的情况发现训练结果大有不同。因此记录一下。

归一化

作用
基本原理
实现方法
什么时候需要归一化

作用

归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为标量。在多种计算中都经常用到这种方法。
以上是百度给的定义。。。。。。

个人理解归一化可以反应不同量纲数据中，对同一个结果的影响程度。

举例说明：
在二元气体扩散系数的计算中，一共有6个参数，量纲分别为K（温度），Pa（压强），Ma（气体A的分子质量），va（气体a的扩散体积）。以温度和压强来看，温度每变化1度对结果的影响程度和压强每变化1pa对结果的影响程度是不一样的。然而，温度的数量级在200~300之间，压强的数量级在100000 ~ 150000之间，所以没办法只通过变化量就认为温度对最终结果的影响更大。通过一种转换方法把两个量的单位都转换成 0 ~ 1之间的量。形象化点讲，就是在一个维度（量纲）对数据进行拉伸或者压缩。

对比网上的各种资料我认为归一化的作用主要如下：
1）归一化后加快了梯度下降求最优解的速度（也可以理解为收敛速度变快）；
2）归一化有可能提高精度（如KNN）；
3）去量纲化，如上边的例子所示，将温度和压强两个不同维度的量拉到同一个训练框架中一起训练。

实际使用中，针对上面的例子如果不进行归一化，会出现以下情况：
由于温度数量级只有200~300，而压强数量级则为数十万，因此，当学习率大于0.001（亲测），温度的百数量级就会几乎被训练网络忽略掉，导致模型无法收敛，最后经过几百轮训练不是权重参数都变成0抑或是发散到几十万而导致最后和实际结果的偏差越来越远

基本原理

1、最大最小标准化（离差标准化）
在这里插入图片描述
适用于数据分布较为集中的情况，例如：

a = [[700],
     [800],
     [600],
     [200],
     [900],
    ]

这样的数据标准化后：

A = [[0.714],
     [0.857],
     [0.571],
     [0],
     [1],
    ]

而数据不够集中，或者最大最小值之间差较大
如下：

a = [[7000],
     [800],
     [600],
     [200],
     [900],
    ]

缺点： 数据标准化后就会出现其中一个值等于1，其他的值都非常小，当数量级超过一定量时会出现所有值接近于0的情况。

2、z-score规范化（零-均值规范化）
在这里插入图片描述
该方法，很明显和概率论中正态分布的标准化很接近，没错！！！该方法更适合与符合正态分布的量纲值，其分布越接近正态分布，效果越好。
例如：
通过测量生理指标预测运动员的表现，训练队提供的不同种的生理指标如红细胞，血红蛋白均符合正态分布，使用该方法进行归一化效果更好。

这类的数据经过归一化符合标准正态分布（零均值，标准差为1）。

缺点： 对原始数据的分布有要求。完全不符合正态分布或类正态分布的数据效果会很差！！！很差！！！

3、非线性的归一化

该方法包括 log，正切等非线性函数。

主要用于数据规模较大，且最大最小值之间差值很大的情况下使用。

实现方法

1、使用sk-learn实现归一化

1) 最大最小标准化

from sklearn import preprocessing
import numpy as np
a = [[100,0.2,3,4,50],[200,0.4,6,7,90],[150,0.6,3,5,100],[700,0.5,8,1,70],[550,0.3,1,4,80]]

a_maxmin = preprocessing.MinMaxScaler()
a1 = np.array(a)
min_max_scaler = preprocessing.MinMaxScaler()#默认为范围0~1，拷贝操作
a_minmax = min_max_scaler.fit_transform(a)
print('x_minmax = ',a_minmax)
print('x = ',a)
# 新的测试数据进来，同样的转换
# 在线标准化

a_scale = preprocessing.scale(a)
# 沿着某个轴标准化数据集，以均值为中心，以分量为单位方差
print('a_scale = ',a_scale)

结果：

x_minmax =  
[[0.         0.         0.28571429 0.5        0.        ]
 [0.16666667 0.5        0.71428571 1.         0.8       ]
 [0.08333333 1.         0.28571429 0.66666667 1.        ]
 [1.         0.75       1.         0.         0.4       ]
 [0.75       0.25       0.         0.5        0.6       ]]
x =  
[[100, 0.2, 3, 4, 50], [200, 0.4, 6, 7, 90], [150, 0.6, 3, 5, 100], [700, 0.5, 8, 1, 70], [550, 0.3, 1, 4, 80]]
a_scale =  
[[-1.00174065 -1.41421356 -0.48349378 -0.10314212 -1.62746694]
 [-0.58434871  0.          0.72524067  1.44398974  0.69748583]
 [-0.79304468  1.41421356 -0.48349378  0.4125685   1.27872403]
 [ 1.50261097  0.70710678  1.53106363 -1.65027399 -0.46499055]
 [ 0.87652306 -0.70710678 -1.28931674 -0.10314212  0.11624764]]

Process finished with exit code 0

2) z-score规范化

strandard_scaler = preprocessing.StandardScaler()
a_scaler = strandard_scaler.fit_transform(a)
print('x = ',a)
print('x_minmax = ',a_scaler)

结果：

x =  [[100, 0.2, 3, 4, 50], [200, 0.4, 6, 7, 90], [150, 0.6, 3, 5, 100], [700, 0.5, 8, 1, 70], [550, 0.3, 1, 4, 80]]
x_minmax =  
[[-1.00174065 -1.41421356 -0.48349378 -0.10314212 -1.62746694]
 [-0.58434871  0.          0.72524067  1.44398974  0.69748583]
 [-0.79304468  1.41421356 -0.48349378  0.4125685   1.27872403]
 [ 1.50261097  0.70710678  1.53106363 -1.65027399 -0.46499055]
 [ 0.87652306 -0.70710678 -1.28931674 -0.10314212  0.11624764]]