python 数据预处理时的标准化Standardization，归一化normalization

最新推荐文章于 2025-04-02 16:59:39 发布

哇哇咔咔MZ：y

最新推荐文章于 2025-04-02 16:59:39 发布

阅读量4.1k

点赞数 7

分类专栏： python 文章标签：机器学习数据挖掘人工智能 python

本文链接：https://blog.csdn.net/qq_40819197/article/details/115435726

版权

python 专栏收录该内容

4 篇文章

订阅专栏

本文介绍了Python机器学习库sklearn中数据预处理的两种常见方法：标准化（Standardization）和归一化（Normalization）。标准化是通过移除特征的平均值并缩放至单位方差，主要针对列操作。归一化则是将样本的各特征缩放到单位范数，通常用于文本分类和聚类中。示例代码展示了如何使用sklearn.preprocessing进行标准化和归一化操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在python的sklearn.preprodessing库中有：

标准化（Standardization），归一化（normalization）这两种数据预处理方式，现在来一起学习一下它们。

Standardization又叫做mean removal and variance scaling。从名字上可以看出就是移出平均值，将方差化为1。注意：标注化是对feature进行操作的，也就是对列进行操作。对于同一列的所有feature我们对其进行Standardization就是对该列执行以下操作：

$X = \frac{X-\mu}{\delta}$

其中 $X= \begin{bmatrix} x_1 \\ x_2 \\ x_3 \\...\\x_n \end{bmatrix}$ 为某一列feature， $\mu$ 是mean(X)，而 $\delta$ 是X的均方差（也叫标准差）std(X)。

from sklearn import preprocessing
import numpy as np
X_train = np.array([[ 1., -1.,  2.],
                   [ 2.,  0.,  0.],
                   [ 0.,  1., -1.]])

scaler = preprocessing.StandardScaler().fit(X_train)
print('mean:\n',scaler.mean_)
print('std:\n',scaler.scale_)

X_scaled = scaler.transform(X_train)
print('标准化后的X_train:\n',X_scaled)

归一化（normalization）:Normalization is the process of scaling individual samples to have unit norm. 归一化是对simple进行操作的，即是对行操作，比如一个simple有n个feature，那么我们对这n个feature进行归一化，也就是让这n个feature标度到单位范数（让这n个feature的范数为1）如果你不理解范数的概念可以看这里。这个常在文本分类和聚类算法中使用，计算similarity的时候经常用到。

常用到的L1，L2公式：

标度到单位范数：比如我将n个feature标度到L1范数空间，也就是n个的feature的绝对值相加为1。

X = [[ 1., -1.,  2.],
     [ 2.,  0.,  0.],
     [ 0.,  1., -1.]]
X_normalized = preprocessing.normalize(X, norm='l2')

print(X_normalized)