Python数据变换

数据变换主要是对数据进行规范化处理，将数据转换成“适当的”形式，以适用于挖掘任务及算法的需要。

 

1、简单函数变换：

简单函数变换是对原始数据进行某些数学函数变换，常用的变换包括平方、开方、取对数、差分运算等。即：

 

                                                                     x'=x^2

                                                                      x'=根号下x

                                                     x'=log(x)

 

 

                                              

简单的函数变换用来将不具有正态分布的数据变换成具有正态分布的数据。在时间序列分析中，有时简单的对数变换或者差分运算就可以将非平稳序列转换成平稳序列。在数据挖掘中简单的函数变换很有必要。

 

来自 <http://baijiahao.baidu.com/s?id=1585969571369834055&wfr=spider&for=pc>

 

2、规范化

为了清除指标之间量纲和取值范围的差异影响，将数据按照比例进行缩放，使之落在指定的范围内。

 

（1）最小-最大规范化

 

最小-最大规范化也称为离差标准化，是对原始数据的线性变换，将数值值映射到[0,1]之间。转换公式如下:

这是最简单也是最容易想到的方法，通过遍历feature vector里的每一个数据，将Max和Min的记录下来，并通过Max-Min作为基数（即Min=0，Max=1）进行数据的归一化处理：

LaTex：{x}_{normalization}=\frac{x-Min}{Max-Min}

其中，max为样本数据的最大值，min为样本数据的最小值。max-min为极差。离差标准化保留了原来数据中存在的关系，是消除量纲和数据取值范围影响的最简单方法。这种处理的缺点是若数值集中某个数值很大，则规范化后各值会接近于0，并且将会相差不大。若将来遇到超过目前属性[min，max]取值范围的时候，会引起系统出错，需要重新确定min和max；

Python实现：

1. def MaxMinNormalization(x,Max,Min):  

2.     x = (x - Min) / (Max - Min);  
3.     return x;  

 

 

（2）零-均值规范化

这种方法给予原始数据的均值（mean）和标准差（standard deviation）进行数据的标准化。经过处理的数据符合标准正态分布，即均值为0，标准差为1，这里的关键在于复合标准正态分布，个人认为在一定程度上改变了特征的分布，关于使用经验上欢迎讨论，我对这种标准化不是非常地熟悉，转化函数为：

LaTex：{x}_{normalization}=\frac{x-\mu }{\sigma }

Python实现：

4. def Z_ScoreNormalization(x,mu,sigma):  

5.     x = (x - mu) / sigma;  
6.     return x;  

这里一样，mu（即均值）用np.average()，sigma（即标准差）用np.std()即可。

 

 

（3）小数定标规范化

通过移动属性值的小数位数，将属性值映射到[-1，1]之间，移动的小数位数取决于属性值绝对值的最大值：

 

 

 

（4）Sigmoid函数

Sigmoid函数是一个具有S形曲线的函数，是良好的阈值函数，在(0, 0.5)处中心对称，在(0, 0.5)附近有比较大的斜率，而当数据趋向于正无穷和负无穷的时候，映射出来的值就会无限趋向于1和0，是个人非常喜欢的“归一化方法”，之所以打引号是因为我觉得Sigmoid函数在阈值分割上也有很不错的表现，根据公式的改变，就可以改变分割阈值，这里作为归一化方法，我们只考虑(0, 0.5)作为分割阈值的点的情况：

 

 

LaTex：{x}_{normalization}=\frac{1}{1+{e}^{-x}}

Python实现：

7. def sigmoid(X,useStatus):  

8.     if useStatus:  
9.         return 1.0 / (1 + np.exp(-float(X)));  
10.     else:  
11.         return float(X);