sklearn matlab,5个需要掌握的sklearn技能

虽然scikit-learn在机器学习领域很重要，但是很多人并不知道利用这个库中的一些强大的功能。本文将介绍scikit-learn中5个最有用的5个隐藏的瑰宝，充分利用这些秘密武器将有效提高你的机器学习处理的效率！

1、数据集生成器

Scikit-learn有很多数据集生成器，可以用来生成各种复杂度和维度的人工数据集。

例如，make_blobs函数可以创建包含很多数据样本、聚类中心、维度的“blobs”或数据聚类。可视化以后可以清晰看出样本的分布：

Scikit-learn其实提供了很多数据集创建函数：

make_moons(n_samples=100, noise=0.1)

make_circles(n_samples=100, noise=0.05)

make_regression(n_samples=100, n_features=1, noise=15)

make_classification(n_samples=100)

2、流水线/Pipeline

流水线可以将不同的方法组合为单一模型，在自然语言处理(NLP)应用中这一点非常重要。可以通过组合多个模型的方式来创建流水线，数据将依次流过聚合模型中的各环节。流水线有标准的拟合与预测能力，这使得训练过程得到很好的组织。

很多对象都可以整合进流水线：

缺失值处理器/Imputers：如果你的数据中包含缺失的数据，可以试试Simple Imputer或KNN Imputer

编码器/Encoders：如果你的数据不是二进制分类，你可能需要使用一个Label Encoder或者One-Hot Encoder

NLP矢量化处理器/NLP Vectorizers：如果你在处理NLP数据，那么可以使用Count Vectorizer、TD-IDF Vectorize或者Hash Vectorizer

数值变换：可以尝试标准化处理器、min-max缩放等等

3、网格搜索/GridSearchCV

在机器学习中的一个常见任务就是找出模型的正确参数集。通常你可以基于对任务的理解猜测参数的取值，或者编程找出最优集合。sklearn内置了函数GridSearchCV可以自动找出最优参数集。

GridSearchCV对象需要两个参数：首先是要训练的模型对象，例如下面示例中的SVM分类器，第二个则是一个描述参数模型的字典，字典的每一个键对应模型的一个参数，键值则是可能取值的列表。

from sklearn import svm, datasets

from sklearn.model_selection import GridSearchCV

iris = datasets.load_iris()

parameters = {'kernel':('linear', 'rbf'), 'C':[1, 10]}

svc = svm.SVC()

clf = GridSearchCV(svc, parameters)

clf.fit(iris.data, iris.target)

clf.best_params_ #[Output]: {'C': 1, 'kernel': 'linear'}

网格搜索完成后，best_params属性中就记录了表现最好的模型参数。

4、验证曲线/validation_curve

要可视化一个参数对模型性能的影响，可以使用sklearn的validation_curve。这个函数需要一些参数 —— 模型、要调整的参数、参数的取值范围、运行的次数等。validation_curve类似于单变量的网格搜索，可以帮助你更好的可视化单个参数变化的效果。

from sklearn.model_selection import validation_curve

train_scores, valid_scores = validation_curve(model,

X, y,

"max_depth", #model parameter to be adjusted

range(2,7), #values of the parameter

cv=10) #number of folds for k-fold evaluation

train_scores value: #Rows: number of parameter values (4), Columns: each of the values for the folds (10)

array([[0.96296296, 0.95555556, 0.96296296, 0.97037037, 0.95555556,

0.95555556, 0.95555556, 0.96296296, 0.97037037, 0.96296296],

[0.97037037, 0.97037037, 0.97777778, 0.98518519, 0.97037037,

0.97037037, 0.97037037, 0.97037037, 0.97777778, 0.97777778],

[0.99259259, 0.99259259, 0.99259259, 1. , 0.99259259,

0.99259259, 0.99259259, 1. , 0.99259259, 0.99259259],

[1. , 1. , 1. , 1. , 1. ,

1. , 1. , 1. , 0.99259259, 1. ],

[1. , 1. , 1. , 1. , 1. ,

1. , 1. , 1. , 1. , 1. ]])

validation_curve输出的结构是一个元组 —— 一个表示训练得分，另一个表示测试得分。数组中的每个元素表示k次运行中的一个参数值。

当绘制结果后，参数和精确度之间的关系就很清晰了：

import matplotlib.pyplot as plt

import seaborn as sns

sns.set_palette('RdYlGn')

sns.set_style('whitegrid')

params = range(2,10)

for index,param in enumerate(train_scores):

sns.lineplot(range(10),param,label=params[index])

plt.title("Tree Depth Impact on Training Accuracy")

plt.xlabel("CV-Fold")

plt.ylabel("Training Accuracy")

plt.show()

这让我们可以可视化树的深度对准确度的影响。从上图中可以看到树深度为5或6时，模型的性能相当好，但是再继续增加深度就会导致过拟合。

K折交叉验证

交叉验证是一种准确度高于train_test_split的方法，并且通常需要更少的代码。在传统的训练/测试集拆分中，数据样本被随机的分配到训练集和测试集，通常比例为7:3~8:2，在训练集上训练模型，然后在测试集上评估模型，以确保模型真正泛化而非单纯的记忆。

然而由于每次分割是随机的，分割10次将产生10个不同的测试结果。

为了解决这个问题，K折交叉验证将数据拆分为K类，在其中K-1个子集上训练模型，在剩下的1个子集上测试模型。重复这一过程直至测试子集最终覆盖完整的数据集，那么就得到了完整并且可信的准确度指标。这种方法更好的一点是，不需要跟踪x-train、x-test、y-train和y-test变量。交叉验证唯一的缺点是需要更多时间 —— 不过要得到更好的结果总是要多付出一点成本。