数据归一化（详解，含代码实现）

最新推荐文章于 2024-05-05 18:02:28 发布

Mingw_

最新推荐文章于 2024-05-05 18:02:28 发布

阅读量1.8w

点赞数 18

文章标签： python 机器学习数据分析

本文链接：https://blog.csdn.net/Mingw_/article/details/104661142

版权

本文介绍了数据归一化的重要性，通过实例解释为何需要进行数据归一化，并详细讲解了最值归一化和均值方差归一化的原理与适用场景。最后，提供了使用Python的MinMaxScaler和标准Scaler进行数据归一化的代码示例。

摘要由CSDN通过智能技术生成

数据归一化

对于初学的朋友，不知道有没有这样的疑惑，数据归一化是什么？我们为什么要对数据进行归一化处理？
不急，让我们从接下来的例子，发现数据归一化的真面目。

	肿瘤大小(厘米)	发现时间(天)
样本一	1	200
样本二	5	100

不难计算，此时样本间的距离被发现时间所主导。

那如果此时我们将发现时间使用年做单位又会有怎样的结果呢？

	肿瘤大小(厘米)	发现时间(年)
样本一	1	0.55
样本二	5	0.27

不难想象，此时样本间的距离又被肿瘤大小所主导。

这两种方式都不能很好的同时反应样本中每个特征的重要程度，正是如此，我们需要对数据进行归一化处理。所谓的归一化处理就是将所有的数据映射到同一尺度。接下来，我将介绍两种归一化的方式。

最值归一化

最值归一化即将所有的数据映射到0-1之间，映射的方式为:

$X_{scale} = {X-{X_{min}}\over{X_{max}-X_{min}}$
其中X_max表示特征中的最大值，X_min表示特征中的最小值

这相当于把整个数据先映射到了从0到X_max - X_min这个范围中，然后，再找出对于这个X而言，相比于整个范围的所占的比例是多少，这样就将整个长度映射到了0-1之间。

那么最值归一化适用于什么情况呢？又有什么缺点呢？我们继续探讨。

假设，我们以工资作为数据，此时有100个人，其中99个人工资为1万块，1个人工资为100万块，那么这种情况下还适用于最值归一化吗？

显然，这样做是不合适的，此时1万块将会被映射到0的附近，100万块将会被映射到1，这时候映射的效果是不好的。

因此，由于最值归一化其受outlier影响比较大，它更适用于有明显边界的情况。
百看不如一练，以下是对iris数据集采用MinMaxScaler的方法进行归一化。

import numpy as np
from sklearn import datasets
from sklearn.model_selection import train_test_split

class  MinMaxScaler:
    def __init__(self):
        self.min_ = None
        self.max_ = None
    def fit(self,X):
        '''根据训练数据集X获得数据的最小值和最大值'''
        self.min_ = np.array([np.min(X[:,i