sklearn之特征工程

转博客:http://www.cnblogs.com/jasonfreak/p/5448385.html

什么是特征工程

** 最大限度从原始数据中提取特征义工算法和模型使用**

数据预处理

# 导入数据
from sklearn.datasets import load_iris
iris = load_iris()

iris.data

  iris.target

特征问题

1. 不属于同一量纲
2. 消息冗余
3. 定性特征不能直接使用
4. 存在缺失值
5. 消息利用率低

无量纲化(将不同规格转换同一规格)

标准化

$$x^{\prime }=\frac{x-\overline{X}}{S}$$

from sklearn.preprocessing import StandardScaler
StandardScaler().fit_transform(iris.data)

区间缩放法

$$x^{\prime }=\frac{x-Min}{\mathrm{Max}-\mathrm{Min}}$$

from sklearn.preprocessing import MinMaxScaler
MinMaxScaler().fit_transform(iris.data)

单位向量(归一化)

$$x^{\prime }=\frac{x}{\sqrt{{\sum }_j^{m}x[j{]}^2}}$$

from sklearn.preprocessing import Normalizer
Normalizer().fit_transform(iris.data)

对定量特征二值化

设定一个阈值,大于阈值赋值为1,小于为0
$$x^{\prime }=\{\begin{array}{l}1,x>\text{ threshold }\\ 0,x\le \text{ threshold }\end{array}$$

from sklearn.preprocessing import Binarizer 
Binarizer(threshold = 3).fit_transform(iris.data)

对定性特征哑编码

在机器学习中，特征经常不是数值型的而是分类型的。举个例子，一个人可能有 [“male”, “female”] ， [“from Europe”, “from US”, “from Asia”] ， [“uses Firefox”, “uses Chrome”, “uses Safari”, “uses Internet Explorer”] 等分类的特征。这些特征能够被有效地编码成整数，比如 [“male”, “from US”, “uses Internet Explorer”] 可以被表示为 [0, 1, 3] ， [“female”, “from Asia”, “uses Chrome”] 表示为 [1, 2, 1] 。

from sklearn.preprocessing import OneHotEncoder
enc = OneHotEncoder()
enc.fit([[0, 0, 3], [1, 1, 0], [0, 2, 1], [1, 0, 2]])  
enc.transform([[1, 2, 1]]).toarray()

array([[ 0.,  1.,  0.,  0.,  1.,  0.,  1.,  0.,  0.]])

缺失值计算

import numpy as np
from sklearn.preprocessing import Imputer
imp = Imputer(missing_values='NaN', strategy='mean', axis=0)
imp.fit([[1, 2], [np.nan, 3], [7, 6]])
X = [[np.nan, 2], [6, np.nan], [7, 6]]
print(imp.transform(X))                           

[[ 4.          2.        ]
 [ 6.          3.66666667]
 [ 7.          6.        ]]

数据变换

$X$ 从$\left(X_1,X_2\right)$ 转换成$\left(1,X_1,X_2,X_1^2,X_1{X}_2,X_2^2\right)$

import numpy as np
from sklearn.preprocessing import PolynomialFeatures
X = np.arange(6).reshape(3, 2)
X  

array([[0, 1],
       [2, 3],
       [4, 5]])

poly = PolynomialFeatures(degree=3, interaction_only=True)
poly.fit_transform(X) 

array([[  1.,   0.,   1.,   0.],
       [  1.,   2.,   3.,   6.],
       [  1.,   4.,   5.,  20.]])

特征选择

两方面考虑特征

1. 特征是否发散
2. 特征与目标的相关性

Filter

1. 方差选择法
2. 相关系数法
3. 卡方检验
4. 互信息法

from sklearn.feature_selection import VarianceThreshold
VarianceThreshold(threshold=3).fit_transform(iris.data)

Wrapper

1. 递归特征消除法

from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression

#递归特征消除法，返回特征选择后的数据
#参数estimator为基模型
#参数n_features_to_select为选择的特征个数
RFE(estimator=LogisticRegression(), n_features_to_select=2).fit_transform(iris.data, iris.target)

Embedded

降维

主成分分析法(PCA)

from sklearn.decomposition import PCA
PCA(n_components=2).fit_transform(iris.data)

线性判别分析法(LDA)

from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
LinearDiscriminantAnalysis(n_components=2).fit_transform(iris.data, iris.target)