1.特征选择
特征选择是降维的一种方法,即选择对预测结果相关度高的特征或者消除相似度高的特征,以提高估计函数的准确率或者提高多维度数据集上的性能。
2.删除低方差特征
1)思路:设置一个阀值,对每个特征求方差,如果所求方差低于这个阀值,则删除此特征。默认情况下会删除0方差。
2)核心函数
sklearn.feature_selection.VarianceThreshold
3)主要参数:
threshold :设置的阀值
补充说明:
官网给出的是一个布尔值的数据集,阀值的表示方式为下面的公式:
示例写法:sel = VarianceThreshold(threshold=(0.8 * (1 - 0.8)))
经过测试,非布尔值的数据集也适用,并且直接写成:threshold=0.16 也是可以的。
对于二维矩阵,求的是每列的方差,然后和阀值比较。
4)示例
为了更好的说明用删除低方差的方式进行特征选择后,新的数据集不会影响预测结果或者不会造成太大的影响,这里选择一个官方提供的数据集进行对比。这个数据集是关于花朵类型判断的:包含150个样本数据,每个样本数据包含4个特征,这些样本数据属于3类,每类50个样本。
使用决策树进行分类预测。
详细代码如下:
![](https://i-blog.csdnimg.cn/blog_migrate/961ddebeb323a10fe0623af514929fc1.gif)
from sklearn.datasets import load_iris from sklearn import tree from sklearn.feature_selection import VarianceThreshold import numpy as np ##加载数据 iris = load_iris() ##设置筛选阀值 sel = VarianceThreshold(threshold=(.7 * (1 - .7))) ##设置训练集和标签集 X, y = iris.data, iris.target print("原始数据:") print(X.shape) #(150, 4) #筛选数据 X_new = sel.fit_transform(X) print("新数据集:") print(X_new.shape) #(150, 3) ##设置分类函数:决策树 clf = tree.DecisionTreeClassifier() ##训练数据 clf.fit(X, y) ##预测数据 y_pred = clf.predict(X) ##使用选择特征后的数据进行训练 clf.fit(X_new, y) ##在新数据集上进行预测 y_pred1 = clf.predict(X_new) ##原始数据的预测结果和真实结果的对比 cnt = 0 for i in range(len(y)): if y_pred[i] == y[i]: cnt += 1 print("原始数据的预测结果和真实结果相同的个数:") print(cnt) ##新数据集和真实结果的对比 cnt = 0 for i in range(len(y)): if y_pred1[i]== y[i]: cnt += 1 print("新数据集的预测结果和真实结果相同的个数:") print(cnt) ##原始数据的预测结果和新数据的预测结果的对比 cnt = 0 for i in range(len(y)): if y_pred[i] == y_pred1[i]: cnt += 1 print("原始据集的预测结果和新数据集预测结果相同的个数:") print(cnt)
输出结果:
原始数据: (150, 4) 新数据集: (150, 3) 原始数据的预测结果和真实结果相同的个数: 150 新数据集的预测结果和真实结果相同的个数: 150 原始据集的预测结果和新数据集预测结果相同的个数: 150
从结果可以看出,数据从150×4的矩阵变成了150×3的矩阵,但是完全没有对预测结果造成任何影响。
3.单变量特征选择
(下面的翻译可能不是很准确)
1)思路:对每个特征做基于统计的检验,从而选择出最佳特征。
2)可用的函数
SelectPercentile:根据最高分数的百分位数选择特征。
SelectKBest:根据k最高分选择特征。
SelectFpr:基于假阳性率测试选择特征。
SelectFdr:根据估计的虚假发现率选择特征。
SelectFwe:根据家庭错误率选择功能(这个翻译感觉很怪:based on family-wise error rate)
GenericUnivariateSelect:具有可配置模式的单变量特征选择器。
3)可用的统计方法(上面函数的参数):
f_classif:用于分类任务的标签/特征之间方差分析的F值。
mutual_info_classif:离散目标的相互信息。
chi2:用于分类任务的非负性特征的卡方统计。
f_regression:用于回归任务的标签/特征之间的F值。
mutual_info_regression:连续目标的相互信息。
4)示例
依然使用上面的关于花朵的数据集和决策树分类方法。
详细代码如下:
![](https://i-blog.csdnimg.cn/blog_migrate/961ddebeb323a10fe0623af514929fc1.gif)
from sklearn.datasets import load_iris from sklearn.feature_selection import SelectKBest from sklearn.feature_selection import chi2 from sklearn import tree import numpy as np ##加载数据 iris = load_iris() ##设置训练集和标签集 X, y = iris.data, iris.target print("原始数据:") print(X.shape) #(150, 4) ##选择关键特征 X_new = SelectKBest(chi2, k=2).fit_transform(X, y) print("新数据集:") print(X_new.shape) #(150, 2) ##设置分类函数:决策树 clf = tree.DecisionTreeClassifier() ##训练数据 clf.fit(X, y) ##预测数据 y_pred = clf.predict(X) ##使用选择特征后的数据进行训练 clf.fit(X_new, y) ##在新数据集上进行预测 y_pred1 = clf.predict(X_new) ##原始数据的预测结果和真实结果的对比 cnt = 0 for i in range(len(y)): if y_pred[i] == y[i]: cnt += 1 print("原始数据的预测结果和真实结果相同的个数:") print(cnt) ##新数据集和真实结果的对比 cnt = 0 for i in range(len(y)): if y_pred1[i]== y[i]: cnt += 1 print("新数据集的预测结果和真实结果相同的个数:") print(cnt) ##原始数据的预测结果和新数据的预测结果的对比 cnt = 0 for i in range(len(y)): if y_pred[i] == y_pred1[i]: cnt += 1 print("原始据集的预测结果和新数据集预测结果相同的个数:") print(cnt)
输出结果:
原始数据: (150, 4) 新数据集: (150, 2) 原始数据的预测结果和真实结果相同的个数: 150 新数据集的预测结果和真实结果相同的个数: 149 原始据集的预测结果和新数据集预测结果相同的个数: 149
从结果可以看出,原始的数据集从150×4变成了150×2,但是预测的结果只有一个误差。
4.使用SelectFromModel进行特征选择
1)思路:SelectFromModel是一种元变压器,可用于任何在拟合后有coef_或feature_importances_属性的拟合函数。如果相应的coef_或feature_importances_值低于提供的threshold参数(阀值),则认为这些特征是是不重要的并且删除。除了数值上指定阈值外,还有内置的启发式算法,用于使用字符串参数来查找阈值。可用的启发式算法是“平均值”,“中位数”和浮点倍数,如“0.1 *mean”。
2)由上面SelectFromModel的思路可知,首先需要进行一次拟合,然后才通过SelectFromModel选择特征。根据第一次拟合函数的不同,分为两类:
a)基于L1的特征选择
详细代码:
![](https://i-blog.csdnimg.cn/blog_migrate/961ddebeb323a10fe0623af514929fc1.gif)
from sklearn.datasets import load_iris from sklearn.svm import LinearSVC from sklearn.feature_selection import SelectFromModel from sklearn import tree import numpy as np ##加载数据 iris = load_iris() ##设置训练集和标签集 X, y = iris.data, iris.target print("原始数据:") print(X.shape) #(150, 4) ##选择关键特征 lsvc = LinearSVC(C=0.01, penalty="l1", dual=False) lsvc = lsvc.fit(X, y) model = SelectFromModel(lsvc, prefit=True) X_new = model.transform(X) print("新数据集:") print(X_new.shape) #(150, 3) ##设置分类函数:决策树 clf = tree.DecisionTreeClassifier() ##训练数据 clf.fit(X, y) ##预测数据 y_pred = clf.predict(X) ##使用选择特征后的数据进行训练 clf.fit(X_new, y) ##在新数据集上进行预测 y_pred1 = clf.predict(X_new) ##原始数据的预测结果和真实结果的对比 cnt = 0 for i in range(len(y)): if y_pred[i] == y[i]: cnt += 1 print("原始数据的预测结果和真实结果相同的个数:") print(cnt) ##新数据集和真实结果的对比 cnt = 0 for i in range(len(y)): if y_pred1[i]== y[i]: cnt += 1 print("新数据集的预测结果和真实结果相同的个数:") print(cnt) ##原始数据的预测结果和新数据的预测结果的对比 cnt = 0 for i in range(len(y)): if y_pred[i] == y_pred1[i]: cnt += 1 print("原始据集的预测结果和新数据集预测结果相同的个数:") print(cnt)
输出结果:
原始数据: (150, 4) 新数据集: (150, 3) 原始数据的预测结果和真实结果相同的个数: 150 新数据集的预测结果和真实结果相同的个数: 150 原始据集的预测结果和新数据集预测结果相同的个数: 150
从结果可以看出,数据从150×4变成了150×3,但是预测结果没有受影响。
b)基于树的特征选择
详细代码:
![](https://i-blog.csdnimg.cn/blog_migrate/961ddebeb323a10fe0623af514929fc1.gif)
from sklearn.datasets import load_iris from sklearn.ensemble import ExtraTreesClassifier from sklearn.feature_selection import SelectFromModel from sklearn import tree import numpy as np ##加载数据 iris = load_iris() ##设置训练集和标签集 X, y = iris.data, iris.target print("原始数据:") print(X.shape) #(150, 4) ##选择关键特征 etc = ExtraTreesClassifier() etc = etc.fit(X,y) model = SelectFromModel(etc, prefit=True) X_new = model.transform(X) print("新数据集:") print(X_new.shape) #(150, 2) ##设置分类函数:决策树 clf = tree.DecisionTreeClassifier() ##训练数据 clf.fit(X, y) ##预测数据 y_pred = clf.predict(X) ##使用选择特征后的数据进行训练 clf.fit(X_new, y) ##在新数据集上进行预测 y_pred1 = clf.predict(X_new) ##原始数据的预测结果和真实结果的对比 cnt = 0 for i in range(len(y)): if y_pred[i] == y[i]: cnt += 1 print("原始数据的预测结果和真实结果相同的个数:") print(cnt) ##新数据集和真实结果的对比 cnt = 0 for i in range(len(y)): if y_pred1[i]== y[i]: cnt += 1 print("新数据集的预测结果和真实结果相同的个数:") print(cnt) ##原始数据的预测结果和新数据的预测结果的对比 cnt = 0 for i in range(len(y)): if y_pred[i] == y_pred1[i]: cnt += 1 print("原始据集的预测结果和新数据集预测结果相同的个数:") print(cnt)
输出结果:
原始数据: (150, 4) 新数据集: (150, 2) 原始数据的预测结果和真实结果相同的个数: 150 新数据集的预测结果和真实结果相同的个数: 149 原始据集的预测结果和新数据集预测结果相同的个数: 149
从结果看出,数据集从150×4变成了150×2,出现了一个误差。
3)上述代码的选择特征,然后预测,也可简写成如下形式:
clf = Pipeline([ ('feature_selection', SelectFromModel(LinearSVC(C=0.01, penalty="l1", dual=False))), ('classification', tree.DecisionTreeClassifier()) ]) clf.fit(X, y)