2024年大数据最全【机器学习】数据预处理 - 归一化和标准化_归一化处理(3)，大数据开发程序员最新职业规划

2401_84181070

于 2024-05-13 19:11:56 发布

阅读量773

点赞数 10

分类专栏：程序员文章标签：大数据面试学习

本文链接：https://blog.csdn.net/2401_84181070/article/details/138815758

版权

程序员专栏收录该内容

171 篇文章 1 订阅

订阅专栏

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

[[5.1 3.5 1.4 0.2]
 [4.9 3.  1.4 0.2]
 ......
 [5.9 3.  5.1 1.8]]

从输出结果可以看到，数据规格都是有「差异」的，接下来，我们对数据进行归一。

三、归一化处理

fit_transform() 可以对数据进行「归一」处理

from sklearn import preprocessing
from sklearn import datasets


# 初始化
mm = preprocessing.MinMaxScaler()

# 获取数据源
iris = datasets.load_iris()

# 归一化处理
new_data = mm.fit_transform(iris.data)
print(new_data)

输出：

[[0.22222222 0.625      0.06779661 0.04166667]
 [0.16666667 0.41666667 0.06779661 0.04166667]
 ......
 [0.44444444 0.41666667 0.69491525 0.70833333]]

从结果可以看到，归一后的结果，数据规格都在 0~1 之间。

实际上，fit_transform() 不只可以 “归1” ，我们自己设置归一的范围。

四、设置归一化范围

实例化 MinMaxScaler 时，指定 feature_range 参数的值，可以设置归一的「范围」。

from sklearn import preprocessing
from sklearn import datasets


# 初始化
mm = preprocessing.MinMaxScaler(feature_range=(2,3))

# 获取数据源
iris = datasets.load_iris()

# 归一化处理
new_data = mm.fit_transform(iris.data)
print(new_data)

输出：

[[2.22222222 2.625      2.06779661 2.04166667]
 [2.16666667 2.41666667 2.06779661 2.04166667]
 ......
 [2.44444444 2.41666667 2.69491525 2.70833333]]

从输出结果可以看到，数据的范围变成 2~3 区间。

接下来，我们了解一下，MinMaxScaler 是如何进行归一的。

五、归一化原理

MinMaxScaler 根据以下「公式」进行归一：

在这里插入图片描述

以列为基准，max为一列的最大值，min为一列的最小值
mx、mi是归一指定的区间，默认mx=1，mi=0

我们准备一些测试数据：

在这里插入图片描述

我们拿特征一这一列举例，第一个数是90，先带入第一个公式：X‘=（90-60）/（90-60）=1
再带入第二个公式：X"=1*1+0=1
那么第一个数就转换成1.

知道了归一化的计算方式后，可以发现归一化存在一定的「局限性」。
归一化是根据最大值和最小值来计算的，当最大值/最小值出现异常时，比如最大值跟其他数据差的非常多，那么这种计算方式就会存在较大的误差。只适合传统精确小数据场景，对于其他场景，可以使用标准化的方式。

六、标准化

sklearn.preprocessing.StandardScaler()

StandardScaler.fit_transform（ data ）：接收array类型数据，返回保准化后的array类型数据。

我们将归一化的案例，用「标准化」函数再处理一遍

from sklearn import preprocessing
from sklearn import datasets


# 初始化
ss = preprocessing.StandardScaler()

# 获取数据源
iris = datasets.load_iris()

# 标准化处理
new_data = ss.fit_transform(iris.data)
print(new_data)