scikit-learn中交叉验证及其用于参数选择、模型选择、特征选择的例子

最新推荐文章于 2024-09-22 19:01:53 发布
最新推荐文章于 2024-09-22 19:01:53 发布
阅读量5.7k 收藏 25
点赞数 5
分类专栏： sklearn 机器学习 文章标签： sklearn 交叉验证

内容概要

  • 训练集/测试集分割用于模型验证的缺点
  • K折交叉验证是如何克服之前的不足
  • 交叉验证如何用于选择调节参数、选择模型、选择特征
  • 改善交叉验证

1. 模型验证回顾

进行模型验证的一个重要目的是要选出一个最合适的模型，对于监督学习而言，我们希望模型对于未知数据的泛化能力强，所以就需要模型验证这一过程来体现不同的模型对于未知数据的表现效果。
最先我们用训练准确度（用全部数据进行训练和测试）来衡量模型的表现，这种方法会导致模型过拟合；为了解决这一问题，我们将所有数据分成训练集和测试集两部分，我们用训练集进行模型训练，得到的模型再用测试集来衡量模型的预测表现能力，这种度量方式叫测试准确度，这种方式可以有效避免过拟合。
测试准确度的一个缺点是其样本准确度是一个高方差估计（high variance estimate），所以该样本准确度会依赖不同的测试集，其表现效果不尽相同。

高方差估计的例子

下面我们使用iris数据来说明利用测试准确度来衡量模型表现的方差很高。

from sklearn.datasets import load_iris
from sklearn.cross_validation import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn import metrics
# read in the iris data
iris = load_iris()

X = iris.data
y = iris.target
for i in range(1,5):
    print ("random_state is ", i,", and accuracy score is:")
    X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=i)

    knn = KNeighborsClassifier(n_neighbors=5)
    knn.fit(X_train, y_train)
    y_pred = knn.predict(X_test)
    print (metrics.accuracy_score(y_test, y_pred))

random_state is  1 , and accuracy score is:
1.0
random_state is  2 , and accuracy score is:
1.0
random_state is  3 , and accuracy score is:
0.947368421053
random_state is  4 , and accuracy score is:
0.973684210526

上面的测试准确率可以看出，不同的训练集、测试集分割的方法导致其准确率不同，而交叉验证的基本思想是：将数据集进行一系列分割，生成一组不同的训练测试集，然后分别训练模型并计算测试准确率，最后对结果进行平均处理。这样来有效降低测试准确率的差异。

2. K折交叉验证

  1. 将数据集平均分割成K个等份
  2. 使用1份数据作为测试数据，其余作为训练数据
  3. 计算测试准确率
  4. 使用不同的测试集，重复2、3步骤
  5. 对测试准确率做平均，作为对未知数据预测准确率的估计
    这里写图片描述
# 下面代码演示了K-fold交叉验证是如何进行数据分割的
# simulate splitting a dataset of 25 observations into 5 folds
from sklearn.cross_validation import KFold
kf = KFold(25, n_folds=5, shuffle=False)

# print the contents of each training and testing set
print ('{} {:^61} {}'.format('Iteration', 'Training set observations', 'Testing set observations'))
for iteration, data in enumerate(kf, start=1):
    print ('{:^9} {} {:^25}'.format(iteration, str(data[0]), str(data[1])))

Iteration                   Training set observations                   Testing set observations
    1     [ 5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24]        [0 1 2 3 4]       
    2     [ 0  1  2  3  4 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24]        [5 6 7 8 9]       
    3     [ 0  1  2  3  4  5  6  7  8  9 15 16 17 18 19 20 21 22 23 24]     [10 11 12 13 14]     
    4     [ 0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 20 21 22 23 24]     [15 16 17 18 19]     
    5     [ 0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19]     [20 21 22 23 24]

3. 使用交叉验证的建议

  1. K=10是一个一般的建议
  2. 如果对于分类问题，应该使用分层抽样（stratified sampling）来生成数据，保证正负例的比例在训练集和测试集中的比例相同

4. 交叉验证的例子

4.1 用于调节参数

交叉验证的方法可以帮助我们进行调参，最终得到一组最佳的模型参数。下面的例子我们依然使用iris数据和KNN模型，通过调节参数，得到一组最佳的参数使得测试数据的准确率和泛化能力最佳。

from sklearn.cross_validation import cross_val_score
knn = KNeighborsClassifier(n_neighbors=5)
# 这里的cross_val_score将交叉验证的整个过程连接起来，不用再进行手动的分割数据
# cv参数用于规定将原始数据分成多少份
scores = cross_val_score(knn, X, y, cv=10, scoring='accuracy')
print (scores)

[ 1.          0.93333333  1.          1.          0.86666667  0.93333333
  0.93333333  1.          1.          1.        ]

# use average accuracy as an estimate of out-of-sample accuracy
# 对十次迭代计算平均的测试准确率
print (scores.mean())

0.966666666667

# search for an optimal value of K for KNN model
k_range = range(1,31)
k_scores = []
for k in k_range:
    knn = KNeighborsClassifier(n_neighbors=k)
    scores = cross_val_score(knn, X, y, cv=10, scoring='accuracy')
    k_scores.append(scores.mean())

print (k_scores)

[0.95999999999999996, 0.95333333333333337, 0.96666666666666656, 0.96666666666666656, 0.96666666666666679, 0.96666666666666679, 0.96666666666666679, 0.96666666666666679, 0.97333333333333338, 0.96666666666666679, 0.96666666666666679, 0.97333333333333338, 0.98000000000000009, 0.97333333333333338, 0.97333333333333338, 0.97333333333333338, 0.97333333333333338, 0.98000000000000009, 0.97333333333333338, 0.98000000000000009, 0.96666666666666656, 0.96666666666666656, 0.97333333333333338, 0.95999999999999996, 0.96666666666666656, 0.95999999999999996, 0.96666666666666656, 0.95333333333333337, 0.95333333333333337, 0.95333333333333337]

import matplotlib.pyplot as plt
#matplotlib inline
plt.plot(k_range, k_scores)
plt.xlabel("Value of K for KNN")
plt.ylabel("Cross validated accuracy")
plt.show()

这里写图片描述
上面的例子显示了偏置-方差的折中，K较小的情况时偏置较低，方差较高；K较高的情况时，偏置较高，方差较低；最佳的模型参数取在中间位置，该情况下，使得偏置和方差得以平衡，模型针对于非样本数据的泛化能力是最佳的。

4.2 用于模型选择

交叉验证也可以帮助我们进行模型选择，以下是一组例子，分别使用iris数据，KNN和logistic回归模型进行模型的比较和选择。

# 10-fold cross-validation with the best KNN model
knn = KNeighborsClassifier(n_neighbors=20)
print (cross_val_score(knn, X, y, cv=10, scoring='accuracy').mean())

0.98

# 10-fold cross-validation with logistic regression
from sklearn.linear_model import LogisticRegression
logreg = LogisticRegression()
print (cross_val_score(logreg, X, y, cv=10, scoring='accuracy').mean())

0.953333333333

4.3 用于特征选择

下面我们使用advertising数据，通过交叉验证来进行特征的选择，对比不同的特征组合对于模型的预测效果。

import pandas as pd
import numpy as np
from sklearn.linear_model import LinearRegression
# read in the advertising dataset
data = pd.read_csv('http://www-bcf.usc.edu/~gareth/ISL/Advertising.csv', index_col=0)
# create a Python list of three feature names
feature_cols = ['TV', 'radio', 'newspaper']

# use the list to select a subset of the DataFrame (X)
X = data[feature_cols]

# select the Sales column as the response (y)
y = data.sales
# 10-fold cv with all features
lm = LinearRegression()
scores = cross_val_score(lm, X, y, cv=10, scoring='mean_squared_error')
print (scores)

[-3.56038438 -3.29767522 -2.08943356 -2.82474283 -1.3027754  -1.74163618
 -8.17338214 -2.11409746 -3.04273109 -2.45281793]

这里要注意的是，上面的scores都是负数，为什么均方误差会出现负数的情况呢？因为这里的mean_squared_error是一种损失函数，优化的目标的使其最小化，而分类准确率是一种奖励函数，优化的目标是使其最大化。

# fix the sign of MSE scores
mse_scores = -scores
print (mse_scores)

[ 3.56038438  3.29767522  2.08943356  2.82474283  1.3027754   1.74163618
  8.17338214  2.11409746  3.04273109  2.45281793]

# convert from MSE to RMSE
rmse_scores = np.sqrt(mse_scores)
print (rmse_scores)

[ 1.88689808  1.81595022  1.44548731  1.68069713  1.14139187  1.31971064
  2.85891276  1.45399362  1.7443426   1.56614748]

# calculate the average RMSE
print (rmse_scores.mean())

1.69135317081

# 10-fold cross-validation with two features (excluding Newspaper)
feature_cols = ['TV', 'Radio']
X = data[feature_cols]
print np.sqrt(-cross_val_score(lm, X, y, cv=10, scoring='mean_squared_error')).mean()

1.67967484191

由于不加入Newspaper这一个特征得到的分数较小（1.68 < 1.69），所以，使用所有特征得到的模型是一个更好的模型。

原文链接:【scikit-learn】交叉验证及其用于参数选择、模型选择、特征选择的例子

Lavi_qq_2910138025
关注
专栏目录
使用Scikit-learn实现交叉验证
syntax_api860的博客
09-24 115
它通过将数据集划分为训练集和测试集，并多次重复这个过程，从而获得对模型性能的更可靠估计。在上述代码中，我们将数据集划分为5个折叠（cv=5），即进行5折交叉验证。每次交叉验证时，模型将在4个折叠上进行训练，并在剩余的1个折叠上进行测试。通过以上步骤，我们成功地使用Scikit-learn实现了交叉验证，并得到了模型的性能评估。平均得分表示模型在交叉验证过程中的整体性能，标准差表示模型性能的稳定性。函数，我们可以很方便地进行交叉验证，并获得对模型性能的更可靠估计。接下来，我们需要选择一个模型来进行交叉验证。
scikit-learn笔记5 SKLearn模型选择与评估 超参数优化方法
weixin_44632711的博客
10-29 1257
超参数优化方法 1.什么是超参数(hyper-parameters)? 2.网格搜索穷举式超参数优化方法 3.随机采样式超参数优化方法 4.超参数空间的搜索技巧 5.暴力参数搜索方法的替代办法 什么是超参数(hyper-parameters)? 学习器模型中一般有两类参数:一类参数可以从数据中学习估计得到，还有一类参数无法从数据中估计，只能靠人的经验进行设计指定。后一类参数就叫超参数。 比如，支持向量机里的C，Kernel，gama，朴素贝叶斯里的alpha 在学习器模型的设计中，我们要搜索超参数空.
【scikit-learn】交叉验证及其用于参数选择、模型选择、特征选择的例子
Jason Ding的专栏
01-22 6万+
 内容概要¶ 训练集/测试集分割用于模型验证的缺点K折交叉验证是如何克服之前的不足交叉验证如何用于选择调节参数、选择模型、选择特征改善交叉验证 1. 模型验证回顾¶ 进行模型验证的一个重要目的是要选出一个最合适的模型，对于监督学习而言，我们希望模型对于未知数据的泛化能力强，所以就需要模型验证这一过程来体现不同的模型对于未知数据的表现效果。 最先我们用训练准确度（用
sklearn中的cross_val_score()函数参数
qq_41937076的博客
09-24 3万+
sklearn 中的cross_val_score函数可以用来进行交叉验证，因此十分常用，这里介绍这个函数的参数含义。 （本文内容来源于：https://blog.csdn.net/Asher117/article/details/87617702） sklearn.cross_validation.cross_val_score(estimator, X, y=None, scoring=Non...
【机器学习】12-决策树1——概念、特征选择
最新发布
qq_43507078的博客
09-22 1210
决策树，特征选择，信息增益，信息增益比，基尼指数
Python案例｜使用Scikit-learn实现客户聚类模型
不断学习，不断进步，提高自己
07-28 2406
聚类是一种经典的无监督学习方法，无监督学习的目标是通过对无标记训练样本的学习，发掘和揭示数据集本身潜在的结构与规律，即不依赖于训练数据集的类标记信息。聚类试图将数据集划分为若干个互不相交的类簇，从而每个簇对应一个潜在的类别。 聚类算法体现了“物以类聚，人以群分”的思想。“物以类聚，人以群分”出自《战国策·齐策三》，用于比喻同类的东西常聚在一起，志同道合的人相聚成群。俗话说“近朱者赤，近墨者黑”，每一个人都或多或少地受周围的人的影响，所以我们要“见贤思齐，择善而从”，向优秀的人学习，树立积极进取、乐观向上的
cross_val_score
qq_56269550的博客
05-10 1195
具体来说，对于每一次交叉验证，将数据分为训练集和测试集两部分。使用训练集拟合模型，并在测试集上进行预测，得到该折叠测试集上的得分。最后计算所有折叠测试集得分的平均值作为交叉验证得分。函数用于评估模型的性能，它对数据进行交叉验证并返回每个折叠测试集上的得分。
cross_val_score的用法
古月哥欠666的博客
12-05 4万+
cross_val_score 交叉验证既可以解决数据集的数据量不够大问题，也可以解决参数调优的问题。这块主要有三种方式：简单交叉验证（HoldOut检验）、cv（k-fold交叉验证）、自助法。 交叉验证优点： 1：交叉验证用于评估模型的预测性能，尤其是训练好的模型在新数据上的表现，可以在一定程度上减小过拟合。 2：还可以从有限的数据中获取尽可能多的有效信息。 常用的是k折交叉验证方法，其流程为： 1、首先，将全部样本划分成k个大小相等的样本子集； 2、依次遍历这k个子集，每次把当前子集作为验证集，其余
scikit-learn:Jupyter笔记本，使用scikit-learn训练模型
04-29
实际上，scikit-learn支持许多其他算法，如决策树、随机森林、支持向量机、K近邻、神经网络等，以及集成学习方法，如网格搜索、交叉验证和模型选择工具。通过Jupyter Notebook，你可以逐步探索这些概念，不断优化你...
Scikit-Learn K近邻分类
Java/Python大数据成长之路
03-25 1425
但需要注意的是，和K-Means不同，当K值很大时，错误率会更高，例如我们共有35个样本，当K增大到30时，数据的预测会把更多距离较远的数据也放入比较，最终导致预测偏差较大。K近邻（K-Nearest Neighbors，KNN）又称最近邻，意思是K个最近的邻居，是一种有监督的学习分类器，虽然它可以用于回归问题，但它通常用作分类算法。）会将样本数据按照一定比例拆分成训练数据和验证数据，然后从选取一个较小的K值开始，不断增加K的值，然后计算验证数据的误差，最终找到一个比较合适的K值。
sklearn交叉验证函数cross_val_score用法及参数解释
worther的博客
09-17 2万+
交叉验证
K折交叉验证——cross_val_score函数使用说明
beyond谚语的博客
10-01 7511
正常情况下，在数据集划分阶段，通常会划分为训练集trainset和测试集testset，在数据集数量足够多的情况下进行划分，效果较好。但是，对于数据集特别少的情况下，直接划分为训练集和测试集进行训练，模型的效果可能不太好，此时便引入了交叉验证。交叉验证Cross-validation思想很简单，就是对划分好的训练集再进行划分，分为训练集trainset和验证集validset。
cross_val_score怎样使用
weixin_42611310的博客
02-13 650
cross_val_score是Scikit-learn库中的一个函数，它可以用来对给定的机器学习模型进行交叉验证。它接受四个参数： estimator: 要进行交叉验证的模型，是一个实现了fit和predict方法的机器学习模型对象。 X: 特征矩阵，一个n_samples行n_features列的数组。 y: 标签向量，一个n_samples行1列的数组。 cv: 交叉验证的折数，可以...
【Python】sklearn中的cross_val_score()函数参数
Asher117的博客
02-18 2万+
sklearn 中的cross_val_score函数可以用来进行交叉验证，因此十分常用，这里介绍这个函数的参数含义。 sklearn.cross_validation.cross_val_score(estimator, X, y=None, scoring=None, cv=None, n_jobs=1, verbose=0, fit_params=None, pre_dispatch=‘2*...
交叉验证以及scikit-learn中的cross_val_score详解
热门推荐
macan的博客
08-25 7万+
K折验证交叉验证 总的来说，交叉验证既可以解决数据集的数据量不够大问题，也可以解决参数调优的问题。这块主要有三种方式：简单交叉验证（HoldOut检验）、k折交叉验证（k-fold交叉验证）、自助法。该文仅针对k折交叉验证做详解。 简单交叉验证 方法：将原始数据集随机划分成训练集和验证集两部分。比如说，将样本按照70%~30%的比例分成两部分，70%的样本用于训练模型；30%的样本用于模型验证。 ...
Python-sklearn包中cross_val_score进行交叉验证
MsSpark的博客
11-24 6002
sklearn包中cross_val_score进行交叉验证 一、cross_val_score函数功能及参数释义 验证模型在某个训练集上的稳定性，输出cv=k个预测精度。 sklearn.cross_validation.cross_val_score( estimator, X, y=None, scoring=None, cv=None, n_jobs=1, verbose=0, fit_p...
如何实现scikit-learn交叉验证的认证？
07-13
要实现scikit-learn的交叉验证，你可以使用`cross_val_score`函数。这个函数可以帮助你评估模型的性能，并进行交叉验证认证。 下面是一个使用交叉验证认证scikit-learn模型的示例代码： ```python from sklearn.model_selection import cross_val_score from sklearn import datasets from sklearn import svm # 加载数据集 iris = datasets.load_iris() X, y = iris.data, iris.target # 创建模型 clf = svm.SVC(kernel='linear', C=1, random_state=42) # 进行交叉验证认证 scores = cross_val_score(clf, X, y, cv=5) # 输出结果 print("交叉验证得分:", scores) print("平均得分:", scores.mean()) ``` 在这个例子中，我们使用了SVM模型对鸢尾花数据集进行分类。`cross_val_score`函数使用了5折交叉验证（`cv=5`），它将数据集划分为5个部分，每次使用其中4个部分作为训练数据，剩余的1个部分作为测试数据。然后，它返回每次测试的得分，最后我们输出了交叉验证得分的平均值。 这就是使用scikit-learn进行交叉验证认证的基本步骤。你可以根据自己的需求调整模型和交叉验证的参数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值