python数据分析 - 数据预处理

总结一下近期了解到的数据分析预处理的方法。

1、均值移除

  统一样本矩阵中不同特征的基准值和分散度，将各个特征的平均值调整为0，标准差调整为1。

  例如某矩阵的一列值分别是a，b，c，m表示均值，s表示标准差，均值移除后的对应数据是 (a-m)/s，(b-m)/s，(c-m)/s。

  使用情况：某样本有些特征的数值比较大，而有的特征的数值比较小，在分析时大的数值可能会覆盖小的数值，就可以使用均值移除来解决。

   在python中方法：sklearn.preprocessing.scale(原始样本矩阵)  -> 均值移除后的样本矩阵

示例：

import numpy as np
import sklearn.preprocessing as sp

raw_samples = np.array([
    [3, 20, 200, -5400],
    [0, 40, -100, 2100],
    [1, 30, 190, -4300]
], dtype='float')

std_sample = sp.scale(raw_samples)
print(std_sample)

  输出结果为：

# [[ 1.33630621 -1.22474487  0.74274138 -0.86687558]
# [-1.06904497  1.22474487 -1.41360456  1.40111286]
# [-0.26726124  0.          0.67086318 -0.53423728]]

  2、范围缩放

  统一样本矩阵中不同特征的最大值和最小值的范围。

  请问考试成绩100分和90分哪个分高？那如果考100分的满分是200分，90分的满分是100分呢？如果两次回答的答案不一样，是因为我们没有把两个分数放在统一评分标准中比较。在对数据进行处理时，有可能也会遇到相同的情况，这就需要我们使用范围缩放和统一比较范围。

  python中方法：sklearn.preprocessing.MinMaxScaler(feature_range=(期望最小值,期望最大值))  ->  范围缩放器

                            缩放器函数.fit_transform(原始样本矩阵)  ->  范围缩放后的样本矩阵

  示例：

import numpy as np
import sklearn.preprocessing as sp

raw_samples = np.array([
    [3, -1.5, 2, -5.4],
    [0, 4, -0.3, 2.1],
    [1, 3.3, -1.9, -4.3]
])

mms = sp.MinMaxScaler(feature_range=(0, 1))
mms_samples = mms.fit_transform(raw_samples)
print(mms_samples)

  输出结果：

# [[ 1.          0.          1.          0.        ]
#  [ 0.          1.          0.41025641  1.        ]
# [ 0.33333333  0.87272727  0.          0.14666667]]

3、归一化处理

  为了用户占比表示特征，用每个样本的特征的值除以该样本的特征值绝对值之和，以使每个样本的特征值的绝对值之和为1.

  例如：

                         A           B            C              D

              1        30         35          20             40

              2        20         20          10             30

    1和2表示两个服装店，A，B，C，D代表某种衣服的不同颜色的购买数量，请问在1和2中，购买该产品的人中，喜欢A颜色比较多的是？这就需要考虑到A颜色在售出商品中的占比

  在python中的方法：sklearn.preprocessing.normalize(原始样本数据，norm='l1')  -> 归一化后的样本矩阵

                                  'l1'表示 1-范数

  示例：

import numpy as np
import sklearn.preprocessing as sp

raw_samples = np.array([
    [30, 35, 20, 40],
    [20, 20, 10, 30],
])

nor_samples = sp.normalize(raw_samples, 'l1')
print(nor_samples)

   输出结果：

# [[ 0.24   0.28   0.16   0.32 ]
# [ 0.25   0.25   0.125  0.375]]