14天机器学习DAY1-3|交叉验证(Cross Validation)

14天阅读挑战赛
努力是为了不平庸~

为了克服过拟合问题,我们使用交叉验证。

目录

1.交叉验证

2.什么情况下使用交叉验证? 

 3.交叉验证的类别

3.1简单交叉验证

3.2S(K)折交叉验证

3.3留一法交叉验证

3.4交叉验证总结

3.5特殊验证方法

自助法(bootstrapping)

打乱划分交叉验证

分组交叉验证


1.交叉验证

        交叉验证是机器学习建立模型和验证模型参数时常用的办法。交叉验证,就是重复的使用数据,把得到的样本数据进行切分,组合成不同的训练集和测试集,用训练集来训练模型,用测试集评估模型预测的好坏。在此基础上可以得到多组不同的训练集和测试集,某次训练集中的某样本在下次可能成为测试集中的样本。即所谓“交叉”。

2.什么情况下使用交叉验证? 

        那什么情况下才需要交叉验证呢?交叉验证用在数据不是很充足的时候。

        在日常项目里面,对于普通适中问题,如果数据样本量小于一万条,我们就会采用交叉验证来训练优化选择模型。如果数据样本量大于一万条的话,我们一般把数据分为三份:一份为训练集(Training Set),一份为验证集(Validation Set),最后一份为测试集(Test Set)。用训练集来训练模型,用验证集来评估模型预测的好坏和选择模型及其对应的参数。把最终得到的模型再用于测试集,最终决定使用哪个模型以及对应参数。

        交叉验证用于评估模型的预测性能,尤其是训练好的模型在新数据上的表现,能够一定程度上减小过拟合。

 3.交叉验证的类别

        回到交叉验证,根据切分的方法不同,交叉验证分为下面三种:

3.1简单交叉验证

        所谓的简单,是和其他交叉验证方法相对而言。简单交叉验证又称留出法交叉验证(Hold-Out Cross Validation)。首先,我们随机的将样本数据分为两部分(比如:70%的训练集,30%的测试集),然后用训练集来训练模型,在测试集上验证模型及参数。我们再把样本打乱,重新选择训练集和测试集,继续训练数据和检验模型;最后我们选择损失函数评估最优的模型和参数。

 

from sklearn import datasets
from sklearn import model_selection

#引入sklearn库中手写数字的数据集
digits = datasets.load_digits()

#留出法
X_train, X_test, y_train, y_test = model_selection.train_test_split(digits.data, digits.target, test_size = 0.3, shuffle = True)

3.2S(K)折交叉验证

        s折交叉验证(s-folder cross validation),和第一种方法不同,S折交叉验证会把样本数据随机分成S份,每次随机选择S-1份作为训练集,剩下的1份做测试集。当这一轮完成后,重新随机选择S-1份作为训练集,若干轮(小于S)之后,选择损失函数评估最优的模型和参数。

如果是5折交叉验证,意思就是在原始数据集上,进行5次划分,每次划分一次进行一次训练、评估,最后得到5次划分后的评估结果,一般在这几次评估结果上取平均,得到最后的评分。k-fold cross-validation ,其中k一般取5或10。 

在这里插入图片描述 

from sklearn import datasets
from sklearn import model_selection

#引入sklearn库中手写数字的数据集
digits = datasets.load_digits()

#K折交叉验证
#设置K为5
kf = model_selection.KFold(n_splits=5)
#使用5折交叉验验证划分数据集,返回一个生成器对象(即索引)
digits_gen = kf.split(digits.data)
#划分测试集和训练集
for train_idx, test_idx in digits_gen:
        X_train = digits.data[train_idx] #训练集
        X_test = digits.data[test_idx] #测试集
        y_train = digits.target[train_idx] #训练集标签
        y_test = digits.target[test_idx] #测试及标签

3.3留一法交叉验证

        留一交叉验证(leave-one-out cross validation),它是第二种情况(3.2)的特例,此时S等于样本数N,这样对于N个样本,每次选择N-1个样本来训练数据,留一个样本来验证模型预测的好坏,此方法主要用于样本量非常少的情况,对于普通适中问题,N小于50时,我们一般采用留一交叉验证。

在这里插入图片描述 

from sklearn import datasets
from sklearn import model_selection

#引入sklearn库中手写数字的数据集
digits = datasets.load_digits()

#留一法交叉验证
loo = model_selection.LeaveOneOut()
digits_gen = loo.split(digits.data)
for train_idx, test_idx in digits_gen:
        X_train = digits.data[train_idx]
        X_test = digits.data[test_idx]
        y_train = digits.target[train_idx]
        y_test = digits.target[test_idx]

3.4交叉验证总结

        通过反复的交叉验证,用损失函数来度量得到的模型的好坏,最终我们可以得到一个较好的模型。我们该如何选择方法?如果我们只是对数据做一个初步的模型建立,不是要做深入分析的话,简单交叉验证就可以了。否则就使用S折交叉验证。在样本量很少的时候,使用S折交叉验证的特例:留一交叉验证。

3.5特殊验证方法

自助法(bootstrapping)

        也是用于样本量少的时候,叫做自助法(bootstrapping)。比如我们有m个样本(m较小),每次在这m个样本中随机采集一个样本,放入训练集,采样完成后把样本放回。这样重复采集m次,我们得到m个样本组成的训练集。当然,这m个样本中很有可能有重复的样本数据。同时,用没有被采样到的样本做测试集。这样接着进行交叉验证,由于我们的训练集有重复数据,这会改变数据的分布,因而训练结果会有估计偏差,因此这种方法不是很常用,除非数据量真的很少,比如小于20个。

打乱划分交叉验证

mglearn.plots.plot_shuffle_split()

from sklearn.model_selection import ShuffleSplit
shuffle_split = ShuffleSplit(test_size=.5, train_size=.5, n_splits=10)
scores = cross_val_score(logreg, iris.data, iris.target, cv=shuffle_split)
print("Cross-validation scores:\n{}".format(scores))

在这里插入图片描述

分组交叉验证

mglearn.plots.plot_group_kfold()

from sklearn.model_selection import GroupKFold
X, y = make_blobs(n_samples=12, random_state=0)
groups = [0, 0, 0, 1, 1, 1, 1, 2, 2, 3, 3, 3]
scores = cross_val_score(logreg, X, y, groups, cv=GroupKFold(n_splits=3))
print("Cross-validation scores:\n{}".format(scores))

 在这里插入图片描述


【机器学习】交叉验证详细解释+10种常见的验证方法具体代码实现+可视化图_只须一笑不须愁X的博客-CSDN博客_交叉验证 

  • 2
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值