Python的机器学习特征选择

系列文章目录

第一章 Python的机器学习特征转换
第二章 Python的机器学习特征筛选
…未完待续

---

前言

`
特征选择属于数学和计算机的“交叉学科”，知识点多如牛毛，涉及算法，统计学，概率论，python多个内置模块的运用…
但作为具有好奇心的寻路者，还是要静下心来，一个一个小知识点学习，归纳，总结。因此决定写多个系列，把python数据分析的各个知识点拆分，归纳，整合。

一、什么是特征选择？

1.1 特征选择定义

俗话说–“数据质量决定模型上界，而建模过程只是不断逼近这个上界”，特征工程中的一系列提高数据质量的方法、无论是在工业界实践中还是各大顶级竞赛里，都已然成了最为重要的提升模型效果的手段。

从宽泛的角度来看，所有围绕数据集的数据调整工作都可以看成是特征工程的一部分，包括缺失值填补、数据编码、特征变换等，这些方法其实都能一定程度提升数据质量，而本文聚焦的是另一类特征工程方法：特征衍生与特征筛选。而该方法通过创建更多特征来提供更多捕捉数据规律的维度，从而提升模型效果。当然特征衍生也是目前公认的最为有效的、能够显著提升数据集质量方法。

1.2 特征选择的必要性

统计上证明，当执行机器学习任务时，存在针对每个特定任务应该使用的最佳数量的特征（图 1）。如果添加的特征比必要的特征多，那么我们的模型性能将下降（因为添加了噪声）。真正的挑战是找出哪些特征是最佳的使用特征（这实际上取决于我们提供的数据量和我们正在努力实现的任务的复杂性）。这就是特征选择技术能够帮到我们的地方！

1.3 特征选择的一般性划分

有许多不同的方法可用于特征选择。其中最重要的是：
1.过滤方法=过滤我们的数据集，只取包含所有相关特征的子集（例如，使用 Pearson 相关的相关矩阵）。

2.遵循过滤方法的相同目标，但使用机器学习模型作为其评估标准（例如，向前/向后/双向/递归特征消除）。我们将一些特征输入机器学习模型，评估它们的性能，然后决定是否添加或删除特征以提高精度。因此，这种方法可以比滤波更精确，但计算成本更高。

3.嵌入方法。与过滤方法一样，嵌入方法也使用机器学习模型。这两种方法的区别在于，嵌入的方法检查 ML 模型的不同训练迭代，然后根据每个特征对 ML 模型训练的贡献程度对每个特征的重要性进行排序。嵌入法是直接使用模型训练得到特征重要性，在模型训练同时进行特征选择。通过模型得到各个特征的权值系数，根据权值系数从大到小来选择特征。常用如基于L1正则项的逻辑回归、Lighgbm特征重要性选择特征。

二、非机器学习的特征筛选(Filtering)

2.1 删除未使用或大量缺失的列

缺失值在机器学习中是不可接受的，因此我们会采用不同的策略来清理缺失数据（例如插补）。但是如果列中缺少大量数据，那么完全删除它是非常好的方法。

通过分析各特征缺失率，并设定阈值对特征进行筛选。阈值可以凭经验值（如缺失率<0.9）或可观察样本各特征整体分布，确定特征分布的异常值作为阈值。

# 特征缺失率
miss_rate_df = df.isnull().sum().sort_values(ascending=False) / df.shape[0]

2.2 不相关的特征

无论算法是回归（预测数字）还是分类（预测类别），特征都必须与目标相关。如果一个特征没有表现出相关性，它就是一个主要的消除目标。可以分别测试数值和分类特征的相关性。

2.2.1 数值变量

# correlation between target and features
(df.corr().loc['price'].plot(kind='barh',figsize=(4,10)))

在此示例中，peak-rpm, compression-ratio, stroke, bore, height , symboling 等特征与价格几乎没有相关性，因此我们可以删除它们。

可以手动删除列，但我更喜欢使用相关阈值（在本例中为 0.2）以编程方式进行：

#drop uncorrelated numeric features(threshold < 0.2)
corr = abs(df.corr().loc['price'])
corr = corr[corr<0.2]
cols_to_drop = corr.index.to_list()
df = df.drop(cols_to_drop,axis=1)

2.2.2 分类变量

可以使用箱线图查找目标和分类特征之间的相关性：

import seaborn as sns

sns.boxplot(y = 'price', x = 'fuel-type', data=df)

柴油车的中位价高于汽油车。这意味着这个分类变量可以解释汽车价格，所以应保留它。可以像这样单独检查每个分类列。

2.3 低方差特征（无发散性）

特征无发散性意味着该特征值基本一样，无区分能力。通过分析特征单个值的最大占比及方差以评估特征发散性情况，并设定阈值对特征进行筛选。阈值可以凭经验值（如单值率<0.9, 方差>0.001）或可观察样本各特征整体分布，以特征分布的异常值作为阈值。

检查一下我们的特征的差异：

# 分析方差 
var_features = df.var().sort_values()
 
# 特征单值率
sigle_rate = {}
for var in df.columns:
    sigle_rate[var]=(df[var].value_counts().max()/df.shape[0])

import numpy as np

# variance of numeric features
(df.select_dtypes(include=np.number).var().astype('str'))

这里的“bore”具有极低的方差，虽然这是删除的候选者。在这个特殊的例子中，我不愿意删除它，因为它的值在2.54和3.94之间，因此方差很低。

2.4 多重共线性

2.4.1 数值变量

Heatmap 是检查和寻找相关特征的最简单方法。

import matplotlib.pyplot as plt

sns.set(rc={'figure.figsize':(16,10)})
sns.heatmap(df.corr(),annot=True,linewidths=.5,center=0,cbar=False,cmap="PiYG")
plt.show()

大多数特征在某种程度上相互关联，但有些特征具有非常高的相关性，例如长度与轴距以及发动机尺寸与马力。

可以根据相关阈值手动或以编程方式删除这些功能。我将手动删除具有 0.80 共线性阈值的特征。

# drop correlated features
df = df.drop(['length', 'width', 'curb-weight', 'engine-size', 'city-mpg'], axis=1)

2.4.2 分类变量

与数值特征类似，也可以检查分类变量之间的共线性。诸如独立性卡方检验之类的统计检验非常适合它。

让我们检查一下数据集中的两个分类列——燃料类型和车身风格——是独立的还是相关的。

然后我们将在每一列中创建一个类别的交叉表/列联表。

最后，我们将在交叉表上运行卡方检验，这将告诉我们这两个特征是否独立。

df_cat = df[['fuel-type', 'body-style']]
df_cat.sample(5)

crosstab = pd.crosstab(df_cat['fuel-type'], df_cat['body-style'])
crosstab

from scipy.stats import chi2_contingency

chi2_contingency(crosstab)

输出依次是卡方值、p 值、自由度和预期频率数组。

p 值 <0.05，因此我们可以拒绝特征之间没有关联的原假设，即两个特征之间存在统计上显着的关系。

三、使用机器学习模型为评估标准的特征筛选（Wrapper）

到目前为止，我已经展示了在实现模型之前应用的特征选择策略。这些策略在第一轮特征选择以建立初始模型时很有用。但是一旦构建了模型，就可以获得有关模型性能中每个特征的适应度的更多信息。根据这些新信息，可以进一步确定要保留哪些功能。

下面我们使用最简单的线性模型展示其中的一些方法。

# drop columns with missing values
df = df.dropna()
from sklearn.model_selection import train_test_split
# get dummies for categorical features
df = pd.get_dummies(df, drop_first=True)
# X features
X = df.drop('price', axis=1)
# y target
y = df['price']
# split data into training and testing set
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

from sklearn.linear_model import LinearRegression
# scaling
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.fit_transform(X_test)
# convert back to dataframe
X_train = pd.DataFrame(X_train, columns = X.columns.to_list())
X_test = pd.DataFrame(X_test, columns = X.columns.to_list())
# instantiate model
model = LinearRegression()# fit
model.fit(X_train, y_train)

现在我们已经拟合了模型，让我们进行另一轮特征选择。

3.2 特征系数

如果正在运行回归任务，则特征适应度的一个关键指标是回归系数（所谓的 beta 系数），它显示了模型中特征的相对贡献。有了这些信息，可以删除贡献很小或没有贡献的功能。

# feature coefficients
coeffs = model.coef_

# visualizing coefficients
index = X_train.columns.tolist()

(pd.DataFrame(coeffs, index = index, columns = ['coeff']).sort_values(by = 'coeff')
.plot(kind='barh', figsize=(4,10)))

某些特征beta 系数很小，对汽车价格的预测贡献不大。可以过滤掉这些特征：

# filter variables near zero coefficient value
temp = pd.DataFrame(coeffs,index = index, columns = ['coeff']).sort_values(by='coeff')

temp = temp[(temp['coeff']>1) |(temp['coeff']<-1)]

# drop those features
cols_coeff = temp.index.to_list()
X_train = X_train[cols_coeff]
X_test = X_test[coils_coeff[

3.2 p 值

在回归中，p 值告诉我们预测变量和目标之间的关系是否具有统计显著性。statsmodels 库提供了带有特征系数和相关 p 值的回归输出的函数。

如果某些特征不显著，可以将它们一个一个移除，然后每次重新运行模型，直到找到一组具有显着 p 值的特征，并通过更高的调整 R2 提高性能。

import statsmodels.api as sm
ols = sm.OLS(y, X).fit()
print(ols.summary())

3.2 方差膨胀因子 (VIF)

方差膨胀因子 (VIF) 是衡量多重共线性的另一种方法。它被测量为整体模型方差与每个独立特征的方差的比率。一个特征的高 VIF 表明它与一个或多个其他特征相关。根据经验：

VIF = 1 表示无相关性
VIF = 1-5 中等相关性
VIF >5 高相关

VIF 是一种消除多重共线性特征的有用技术。对于我们的演示，将所有 VIF 高于10的删除。

from statsmodels.stats.outliers_influence import variance_inflation_factor

# calculate VIF
vif = pd.Series([variance_inflation_factor(X.values, i) for i in range(X.shape[1])],
index=X.columns)

#display VIFs in a table
index = X_train.columns.tolist()
vif_df = pd.DataFrame(vif, index = index,columns=['vif']).sort_values(by='vif',ascending=False)
vi_df[vif_df['vif']<10]

四、基于sklearn机器学习模块的特征筛选

包装法是通过每次选择部分特征迭代训练模型，根据模型预测效果评分选择特征的去留。一般包括产生过程，评价函数，停止准则，验证过程，这4个部分。

(1) 产生过程( Generation Procedure )是搜索特征子集的过程，首先从特征全集中产生出一个特征子集。搜索方式有完全搜索(如广度优先搜索、定向搜索)、启发式搜索(如双向搜索、后向选择)、随机搜索(如随机子集选择、模拟退火、遗传算法)。(2) 评价函数( Evaluation Function ) 是评价一个特征子集好坏程度的一个准则。(3) 停止准则( Stopping Criterion )停止准则是与评价函数相关的，一般是一个阈值，当评价函数值达到这个阈值后就可停止搜索。(4) 验证过程( Validation Procedure )是在验证数据集上验证选出来的特征子集的实际效果。

4.1 基于特征重要性(feature_importances_)

决策树/随机森林使用一个特征来分割数据，该特征最大程度地减少了杂质(以基尼系数杂质或信息增益衡量)。找到最佳特征是算法如何在分类任务中工作的关键部分。我们可以通过 feature_importances_ 属性访问最好的特征。

让我们在我们的数据集上实现一个随机森林模型并过滤一些特征。

from sklearn.ensemble import RandomForestClassifier

# instantiate model
model = RandomForestClassifier(n_estimators=200,random_state=0)
# fit model
model.fit(X,y)

现在让我们看看特征重要性：

# feature importance
importances = model.feature_importances_

# visualization
cols = X.columns
(pd.DataFrame(importances, cols, columns = ['importance'])
.sort_values(by = 'importance',ascending=True)
.plot(kind='barh',figsize=(4,10)))

上面的输出显示了每个特征在减少每个节点/拆分处的重要性。

由于随机森林分类器有很多估计量（例如上面例子中的 200 棵决策树），可以用置信区间计算相对重要性的估计值。

# calculate standard deviation of feature importances
std = np.std([i.feature_importances_ for i in model.estimators_],axis=0)

# visualization
feat_with_importance = pd.Series(importacnes,X.columns)
fig,ax = plt.subplots(figsize=(12,5))
feat_with_importance.plot.bar(yerr=std, ax=ax)
ax.set_title("Feature importances")
ax.set_ylabel("Mean decrease in impurity")

我们还可以通过可视化一个训练过的决策树来理解如何进行特征选择。

树结构顶部的特征是我们的模型为了执行分类而保留的最重要的特征。因此，只选择顶部的前几个特征，而放弃其他特征，可能创建一个准确度非常可观的模型。

start = time.process_time()
trainedtree = tree.DecisionTreeClassifier().fit(X_Train, Y_Train)
print(time.process_time() - start)
predictionstree = trainedtree.predict(X_Test)
print(confusion_matrix(Y_Test,predictionstree))
print(classification_report(Y_Test,predictionstree))

import graphviz
from sklearn.tree import DecisionTreeClassifier, export_graphviz


data = export_graphviz(trainedtree,out_file=None,feature_names= X.columns,
        class_names=['edible', 'poisonous'], 
        filled=True, rounded=True, 
        max_depth=2,
        special_characters=True)
graph = graphviz.Source(data)
graph

现在我们知道了每个特征的重要性，可以手动（或以编程方式）确定保留哪些特征以及删除哪些特征。

4.2 基于主成分分析 (PCA)

PCA的主要目的是降低高维特征空间的维数。原始特征被重新投影到新的维度（即主成分）。最终目标是找到最能解释数据方差的特征数量。

# import PCA module
from sklearn.decomposition import PCA
# scaling data
X_scaled = scaler.fit_transform(X)
# fit PCA to data
pca = PCA()
pca.fit(X_scaled)
evr = pca.explained_variance_ratio_

# visualizing the variance explained by each principal components
plt.figure(figsize=(12, 5))
plt.plot(range(0, len(evr)), evr.cumsum(), marker="o", linestyle="--")
plt.xlabel("Number of components")
plt.ylabel("Cumulative explained variance")

20 个主成分解释了超过 80% 的方差，因此可以将模型拟合到这 20 个成分（特征）。可以预先确定方差阈值并选择所需的主成分数量。

五、Scikit Learn 自动选择特征

sklearn 库中有一个完整的模块，只需几行代码即可处理特征选择。

sklearn 中有许多自动化流程，但这里我只展示一些：

# import modules
from sklearn.feature_selection import (SelectKBest, chi2, SelectPercentile, SelectFromModel, SequentialFeatureSelector, SequentialFeatureSelector)

5.1 基于卡方的技术

基于卡方的技术根据一些预定义的分数选择特定数量的用户定义特征 (k)。这些分数是通过计算 X（独立）和 y（因）变量之间的卡方统计量来确定的。

卡方（chi-squared，chi2）可以将非负值作为输入，因此，首先，我们在 0 到 1 之间的范围内缩放输入数据。
在 sklearn 中，需要做的就是确定要保留多少特征。如果想保留 10 个功能，实现将如下所示：

# select K best features
X_best = SelectKBest(chi2, k=10).fit_transform(X,y)

# number of best features
X_best.shape[1]

>> 10

如果有大量特征，可以指定要保留的特征百分比。假设我们想要保留 75% 的特征并丢弃剩余的 25%：

# keep 75% top features
X_top = SelectPercentile(chi2, percentile = 75).fit_transform(X,y)

# number of best features
X_top.shape[1]

>> 36

5.2 正则化

此方法可用于具有 coef 或 feature 重要性属性的所有不同类型的 scikit 学习模型（拟合后）。与 rfe 相比，selectfrommodel 是一个不太可靠的解决方案。实际上，selectfrommodel 只是根据计算出的阈值（不涉及优化迭代过程）删除不太重要的特性。

正则化减少了过拟合。如果你有太多的特征，正则化控制它们的效果，或者通过缩小特征系数（称为 L2 正则化）或将一些特征系数设置为零（称为 L1 正则化）。

一些模型具有内置的 L1/L2 正则化作为超参数来惩罚特征。可以使用转换器 SelectFromModel 消除这些功能。

让我们实现一个带有惩罚 = ‘l1’ 的 LinearSVC 算法。然后使用 SelectFromModel 删除一些功能。

# implement algorithm
from sklearn.svm import LinearSVC
model = LinearSVC(penalty= 'l1', C = 0.002, dual=False)
model.fit(X,y)
# select features using the meta transformer
selector = SelectFromModel(estimator = model, prefit=True)

X_new = selector.transform(X)
X_new.shape[1]

>> 2

# names of selected features
feature_names = np.array(X.columns)
feature_names[selector.get_support()]

>> array(['wheel-base', 'horsepower'], dtype=object)

5.2 序贯法

序贯法是一种经典的统计技术。在这种情况下一次添加/删除一个功能并检查模型性能，直到它针对需求进行优化。

序贯法有两种变体。前向选择技术从 0 特征开始，然后添加一个最大程度地减少错误的特征；然后添加另一个特征，依此类推。

向后选择在相反的方向上起作用。模型从包含的所有特征开始并计算误差；然后它消除了一个可以进一步减少误差的特征。重复该过程，直到保留所需数量的特征。

# instantiate model
model = RandomForestClassifier(n_estimators=100, random_state=0)

# select features
selector = SequentialFeatureSelector(estimator=model, n_features_to_select=10, direction='backward', cv=2)
selector.fit_transform(X,y)

# check names of features selected
feature_names = np.array(X.columns)
feature_names[selector.get_support()]

>> array(['bore', 'make_mitsubishi', 'make_nissan', 'make_saab',
      'aspiration_turbo', 'num-of-doors_two', 'body style_hatchback', 'engine-type_ohc', 'num-of-cylinders_twelve', 'fuel-system_spdi'], dtype=object)

5.3 递归特征消除（RFE）

递归特征消除（RFE）将机器学习模型的实例和要使用的最终期望特征数作为输入。然后，它递归地减少要使用的特征的数量，采用的方法是使用机器学习模型精度作为度量对它们进行排序。
创建一个 for 循环，其中输入特征的数量是我们的变量，这样就可以通过跟踪在每个循环迭代中注册的精度，找出我们的模型所需的最佳特征数量。使用 RFE 支持方法，我们可以找出被评估为最重要的特征的名称（rfe.support 返回一个布尔列表，其中 true 表示一个特征被视为重要，false 表示一个特征不重要）。

from sklearn.feature_selection import RFE

model = RandomForestClassifier(n_estimators=700)
rfe = RFE(model, 4)
start = time.process_time()
RFE_X_Train = rfe.fit_transform(X_Train,Y_Train)
RFE_X_Test = rfe.transform(X_Test)
rfe = rfe.fit(RFE_X_Train,Y_Train)
print(time.process_time() - start)
print("Overall Accuracy using RFE: ", rfe.score(RFE_X_Test,Y_Test))

5.4 双向搜索特征选择

鉴于RFE仅是后向迭代的方法，容易陷入局部最优，而且不支持Lightgbm等模型自动处理缺失值/类别型特征，便基于启发式双向搜索及模拟退火算法思想，简单码了一个特征选择的方法，如下代码：
(来自公众号：算法进阶)

"""
Author: 公众号-算法进阶
基于启发式双向搜索及模拟退火的特征选择方法。
"""


import pandas as pd 
import random 

from sklearn.metrics import precision_score, recall_score, f1_score, accuracy_score, roc_curve, auc


def model_metrics(model, x, y, pos_label=1):
    """ 
    评价函数 
    
    """
    yhat = model.predict(x)
    yprob = model.predict_proba(x)[:,1]
    fpr, tpr, _ = roc_curve(y, yprob, pos_label=pos_label)
    result = {'accuracy_score':accuracy_score(y, yhat),
              'f1_score_macro': f1_score(y, yhat, average = "macro"),
              'precision':precision_score(y, yhat,average="macro"),
              'recall':recall_score(y, yhat,average="macro"),
              'auc':auc(fpr,tpr),
              'ks': max(abs(tpr-fpr))
             }
    return result

def bidirectional_selection(model, x_train, y_train, x_test, y_test, annealing=True, anneal_rate=0.1, iters=10,best_metrics=0,
                         metrics='auc',threshold_in=0.0001, threshold_out=0.0001,early_stop=True, 
                         verbose=True):
    """
    model  选择的模型
    annealing     模拟退火算法
    threshold_in  特征入模的>阈值
    threshold_out 特征剔除的<阈值
    """
    included = []
    best_metrics = best_metrics
    
    for i in range(iters):
        # forward step     
        print("iters", i)
        changed = False 
        excluded = list(set(x_train.columns) - set(included))
        random.shuffle(excluded) 
        for new_column in excluded:             
            model.fit(x_train[included+[new_column]], y_train)
            latest_metrics = model_metrics(model, x_test[included+[new_column]], y_test)[metrics]
            if latest_metrics - best_metrics > threshold_in:
                included.append(new_column)
                change = True 
                if verbose:
                    print ('Add {} with metrics gain {:.6}'.format(new_column,latest_metrics-best_metrics))
                best_metrics = latest_metrics
            elif annealing:
                if random.randint(0, iters) <= iters * anneal_rate:
                    included.append(new_column)
                    if verbose:
                        print ('Annealing Add   {} with metrics gain {:.6}'.format(new_column,latest_metrics-best_metrics))
                    
        # backward step                      
        random.shuffle(included)
        for new_column in included:
            included.remove(new_column)
            model.fit(x_train[included], y_train)
            latest_metrics = model_metrics(model, x_test[included], y_test)[metrics]
            if latest_metrics - best_metrics < threshold_out:
                included.append(new_column)
            else:
                changed = True 
                best_metrics= latest_metrics 
                if verbose:
                    print('Drop{} with metrics gain {:.6}'.format(new_column,latest_metrics-best_metrics))
        if not changed and early_stop:
            break 
    return included      

#示例
from sklearn.model_selection import train_test_split

x_train, x_test, y_train, y_test = train_test_split(x, y)

model = LGBMClassifier()
included =  bidirectional_selection(model, x_train, y_train, x_test, y_test, annealing=True, iters=50,best_metrics=0.5,
                     metrics='auc',threshold_in=0.0001, threshold_out=0,
                     early_stop=False,verbose=True)

5.5 基于信息量

分类任务中，可以通过计算某个特征对于分类这样的事件到底有多大信息量贡献，然后特征选择信息量贡献大的特征。常用的方法有计算IV值、信息增益。

5.5.1 基于信息量信息增益

如目标变量D的信息熵为 H(D)，而D在特征A条件下的条件熵为 H(D|A)，那么信息增益 G(D , A) 为：

信息增益(互信息)的大小即代表特征A的信息贡献程度。

from sklearn.feature_selection import mutual_info_classif
from sklearn.datasets import load_iris
x, y = load_iris(return_X_y=True)
mutual_info_classif(x,y)

5.5.2 基于IV值(Information Value)

IV值(Information Value)，在风控领域是一个重要的信息量指标，衡量了某个特征（连续型变量需要先离散化）对目标变量的影响程度。其基本思想是根据该特征所命中黑白样本的比率与总黑白样本的比率，来对比和计算其关联程度。

总结

我们可以使用numpy和sklearn完成几乎所有特征处理的工作，从数据预处理，到特征选择，抑或降维。后续会分享和总结其他一些关于sklearn模块的知识。

参考文献

一文带你用sklearn做特征工程
特征选择：11 种特征选择策略总结
特征选择的通俗讲解！
Python特征选择(全)