从零开始学ai-机器学习篇 3.数据特征和预处理

数据特征和预处理

1.特征处理的方法
2.sklearn特征预处理API

特征处理是什么?

通过特定的统计方法(数学方法)将数据转换成算法要求的数据

数值型数据:标准缩放

1.归一化
2.标准化
3.缺失值

类别型数据:one-hot编码
时间类型:时间的切分

one hot 热编码

one-hot编码 - 热编码 为每个类别生成一个布尔列,这些列中只有一列可以为每个样本取值1,因此,术语一个热编码

归一化

• 使得某一个特征对最终结果不会造成更大的影响
• 缺点:异常点对最大值最小值影响太大

api:sklearn.preprocessing.MinMaxScaler

MinMaxScalar(feature_range=(0,1)…)
每个特征缩放到给定范围(默认[0,1])

MinMaxScalar.fit_transform(X)

X:numpy array格式的数据[n_samples,n_features]
返回值：转换后的形状相同的array

特点:通过对原始数据进行变换把数据映射到(默认为[0,1])之间

公式:

x’ = (x-min) / (max-min)

x’’ = x’ * (ma-mi) + mi

注意:作用于每一列,max为一列的最大值,min为一列的最小值,那么x’'为最终结果,mx和mi分别为指定区间值默认mx为1,mi为0

• 注意在特定场景下最大值最小值是变化的，另外，最大值与最小值非常容易受异常点影响，所以这种方法鲁棒性(稳健性)较差，只适合传统精确小数据场景。

代码实现

from sklearn.preprocessing import MinMaxScaler

# 实例化 默认[0,1]  可用feature_range指定
mm = MinMaxScaler(feature_range=(2,3))

data = mm.fit_transform([[90,2,10,40],[60,4,15,45],[75,3,13,46]])

print(data)

代码结果

[[3.         2.         2.         2.        ]
 [2.         3.         3.         2.83333333]
 [2.5        2.5        2.6        3.        ]]

标准化

• 特点：通过对原始数据进行变换把数据变换到均值为0,标准差为1范围内

公式:

X’= (x-mean)/σ

注:作用与每一列,mean为平均值,σ为标准差

var为方差

var = (x1-mean)^2+(x2-mean)2 + …/n(每个特征的样本数) σ=√var 方差:考量数据的稳定性

标准化API

• sklearn标准化API: scikit-learn.preprocessing.StandardScaler

• StandardScaler(…)

  处理之后每列来说所有数据都聚集在均值0附近标准差为1

• StandardScaler.fit_transform(X,y)

• X:numpy array格式的数据[n_samples,n_features]

  返回值：转换后的形状相同的array

• StandardScaler.mean_

  原始数据中每列特征的平均值

• StandardScaler.std_

  原始数据每列特征的方差

• 在已有样本足够多的情况下比较稳定，适合现代嘈杂大数据场景。

代码实现

from sklearn.preprocessing import StandardScaler

# 实例化
st = StandardScaler()

# 标准化
data = st.fit_transform([[ 1., -1., 3.],[ 2., 4., 2.],[ 4., 6., -1.]])

print("标准化",data)

print("平均值",st.mean_)

代码结果

标准化 [[-1.06904497 -1.35873244  0.98058068]
 [-0.26726124  0.33968311  0.39223227]
 [ 1.33630621  1.01904933 -1.37281295]]
平均值 [2.33333333 3.         1.33333333]

结合归一化谈标准化

• 对于归一化来说：如果出现异常点，影响了最大值和最小值，那么结果显然会发生改变
• 对于标准化来说：如果出现异常点，由于具有一定数据量，少量的异常点对于平均值的影响并不大，从而方差改变较小。

缺失值

• 删除

  如果每列或者行数据缺失值达到一定的比例，建议放弃整行或者整列

• 插补

  可以通过缺失值每行或者每列的平均值、中位数来填充

• sklearn缺失值API:

  sklearn.preprocessing.Imputer

  Imputer(missing_values=‘NaN’, strategy=‘mean’, axis=0)

  完成缺失值插补

• Imputer.fit_transform(X,y)

  X:numpy array格式的数据[n_samples,n_features]

  返回值：转换后的形状相同的array

  代码实现

# 缺失值处理
import numpy as np
from sklearn.impute import SimpleImputer
 
imp_mean = SimpleImputer(missing_values=np.nan, strategy='mean')
x = [[7, 2, 3], [4, np.nan, 6], [10, 5, 9]]
data = [[np.nan, 2, 3], [4, np.nan, 6], [10, np.nan, 9]]
 
Fit = imp_mean.fit(x)
new_data = imp_mean.transform(data)
 
print(Fit)
print(data)
print(new_data)

代码结果

SimpleImputer()
[[nan, 2, 3], [4, nan, 6], [10, nan, 9]]
[[ 7.   2.   3. ]
 [ 4.   3.5  6. ]
 [10.   3.5  9. ]]