机器学习框架sklearn之特征预处理:无量钢化

特征预处理

通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程。

包含内容：

• 数字型数据的无量钢化：

  ①归一化

  ②标准化

• 为什么要进行归一化/标准化？

  ​ 特征的单位或者大小相差较大，或者某特征的方差相比其他特征要大出几个数量级，容易影响（支配）目标结果，使得一些算法无法学习到其他的特征。

  ​ 我们需要用到一些方法进行无量钢化，使不同规格的数据转换到同一规格。

归一化

• 定义
  通过对原始数据进行变换把数据映射到（默认为[0,1]）之间

• 公式
  X1=（x-min）/（max-min）
  X2=X1*（mx-mi）+mi

注：该公式作用于每一列，max为一列的最大值，min为一列的最小值，X2为最终结果，mx、mi分别为指定要映射的区间值，默认mx为1，mi为0

• 特征预处理API

sklearn.preprocessing.MinMaxScaler(feature_range=(0,1)...)

	-MinMaxScaler.fit_transform(X)
		-X:numpy array格式的数据[n_samples,n_features]
		-返回值：转换后的形状相同的array

• 代码展示

import pandas as pd
from sklearn.preprocessing import MinMaxScaler
def minmax_demo():
    #1.获取数据,一共四列九行
    data=pd.read_csv("data.TXT")
    #获取前三列所有行
    data=data.iloc[:,:3]
    print("data:\n",data)
    #2.实例化一个转换器
    transfer=MinMaxScaler()
    #3.调用fit_transform，得到归一化结果
    result=transfer.fit_transform(data)
    print("result:\n",result)
    return None

标准化

• 定义
  通过对原始数据进行变换把数据变换到均值为0，标准差为1范围内

• 公式
  X1=（x-mean）/σ
  注：该公式作用于每一列，mean为平均值，σ为标准差
  对于归一化来说：如果出现异常点，影响了最大值和最小值，那么结果显然会发生改变
  对于标准化来说：如果出现异常点，由于具有一定数据量，少量的异常点对于平均值的影响不大，从而方差改变较小

• API

sklearn.preprocessing.StandardScaler()

	-处理之后，对每列来说，所有数据都聚集在均值为0附近，标准差为1
	-StandardScaler.fit_transform(X)
			X:numpy array格式的数据[n_samples,n_features]
	-返回值：转换后的形状相同的array

• 代码展示

from sklearn.preprocessing import StandardScaler
import pandas as pd
def stand_demo():
    # 1.获取数据,一共四列九行
    data = pd.read_csv("data.TXT")
    # 获取前三列所有行
    data = data.iloc[:, :3]
    print("data:\n", data)
    # 2.实例化一个转换器
    transfer = StandardScaler()
    # 3.调用fit_transform
    result = transfer.fit_transform(data)
    print("result:\n", result)
    return None

• 应用场景：在已有样本足够多的情况下比较稳定，适合现代嘈杂大数据场景