python 规范化_常用的三种数据规范化的方法及python实现

三种数据规范化方法介绍和使用

Min-max 规范化

Min-max 规范化方法是将原始数据变换到 [0,1] 的空间中。用公式表示就是：

新数值 =(原数值 - 极小值)/(极大值 - 极小值)。

即$new = \frac{old - min}{max - min}$。

在如朴素贝叶斯方法和决策树方法中，规范化后的数值必须非负数，所以一般采用min-max规范化。

在python中使用如下：

1

2

3

4

5

6

7

8

9

10

11# coding:utf-8

from sklearn import preprocessing

import numpy as np

# 初始化数据，每一行表示一个样本，每一列表示一个特征

x = np.array([[ 0., -3., 1.],

[ 3., 1., 2.],

[ 0., 1., -1.]])

# 将数据进行 [0,1] 规范化

min_max_scaler = preprocessing.MinMaxScaler() # 获得一个转换器对象

minmax_x = min_max_scaler.fit_transform(x) # 使用转换器的方法进行转换

print minmax_x

Z-Score 规范化

假设 A 与 B 的考试成绩都为 80 分，A 的考卷满分是 100 分(及格 60 分)，B 的考卷满分是 500 分(及格 300 分)。虽然两个人都考了 80 分，但是 A 的 80 分与 B 的 80 分代表完全不同的含义。

那么如何用相同的标准来比较 A 与 B 的成绩呢？Z-Score 就是用来可以解决这一问题的。

我们定义：新数值 =(原数值 - 均值)/ 标准差。 这一方法其实就是把数据规范化成一个标准的正态分布。

假设 A 所在的班级平均分为 80，标准差为 10。B 所在的班级平均分为 400，标准差为 100。那么 A 的新数值 =(80-80)/10=0，B 的新数值 =(80-400)/100=-3.2。

那么在 Z-Score 标准下，A 的成绩会比 B 的成绩好。

我们能看到 Z-Score 的优点是算法简单，不受数据量级影响，结果易于比较。不足在于，它需要数据整体的平均值和方差，而且结果没有实际意义，只是用于比较。

在python中使用如下：

1

2

3

4

5

6

7

8

9from sklearn import preprocessing

import numpy as np

# 初始化数据

x = np.array([[ 0., -3., 1.],

[ 3., 1., 2.],

[ 0., 1., -1.]])

# 将数据进行 Z-Score 规范化

scaled_x = preprocessing.scale(x) # 直接调用 scale方法

print scaled_x

小数定标规范化

小数定标规范化就是通过移动小数点的位置来进行规范化。小数点移动多少位取决于属性 A 的取值中的最大绝对值。

举个例子，比如属性 A 的取值范围是 -999 到 88，那么最大绝对值为 999，小数点就会移动 3 位，即新数值 = 原数值 /1000。那么 A 的取值范围就被规范化为 -0.999 到 0.088。

在python中使用如下：

1

2

3

4

5

6

7

8

9

10# coding:utf-8

import numpy as np

# 初始化数据

x = np.array([[ 0., -3., 1.],

[ 3., 1., 2.],

[ 0., 1., -1.]])

# 小数定标规范化

j = np.ceil(np.log10(np.max(abs(x)))) # 获取小数点移动位数

scaled_x = x/(10**j)

print scaled_x