关于K fold交叉验证

已于 2022-10-08 02:16:40 修改
阅读量2.3k 收藏 12
点赞数 4
分类专栏： 深度学习 文章标签： 人工智能 深度学习 机器学习 算法
于 2021-08-12 22:57:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43301333/article/details/119654331
版权

偶然看到知乎上有人讨论这个问题，粗略看了一下各种各样所谓"大神"的解答，以及评论区里的各种见解，着实把一个很简单的概念给绕懵了，自己都差点被带进去。

K Fold基本原理：

下图来源自Youtube，李飞飞老师课程视频1
在这里插入图片描述

将原始数据分为N份，每次让模型在N-1份数据上训练，剩下1份上验证。最后把N次验证的分数取平均，来尽可能客观地评价模型算法的性能，从而达到所谓的“尽可能充分利用数据”的目的。

所以，k fold本来就是侧重于验证，而不是选择！ (这点很多初学者都误解了，那些很多某乎的“大神”也是)，并且k fold一般只有在现有数据量少的情况下才会用，一般数据量足够我们不会去使用！

为什么要用K Fold？

首先，在数据量较少的情况下，模型算法最可能出现的问题是under fitting。这种情况下，我们当然希望有越多数据train越好啊，(承接之前的把数据分为N份的setting) 我们巴不得把N份数据全部都用来train是不是？ 无奈的是我们需要调参，必须评价模型的性能，所以只能不得已留出一小部分数据进行test。那么问题来了，本来数据总量就少，那么我们留出来的这一小部分数据的量不就是更加少得可怜？而那么一点点数据量来进行test，很有可能会面临很大的随机性，以至于这种情况下test获得的评估不够客观！

所以，这才有了k fold。既然一份test的评估结果不够客观，随机性大，那么就进行N次实验。虽然每次都是一点点的test数据进行评估，但是最后把N份评估取平均，最大程度上保证评估的客观和稳定(可以理解为把所有数据都用来进行了模型的评估)。
得益于此，我们也可以尽可能多地将大部分数据用来训练，而不用担心留下的test数据太少了(可以理解为尽可能多地把数据用来进行了模型的训练)。

把上面两句橘黄色的字结合在一起：充分地利用了数据！

这里举个一种最极端例子：leave-one-out cross validation

例如，现在有100条带标注的样本，把它分成100条。每次训练的时候，取其中99条样本训练，剩下1条样本测试。然后重复100次，汇报100次测试结果的平均值。

  • 思考一下，这样做的好处是什么？
    首先，99/100的样本都参与了训练，标注数据被充分地用作了训练；其次，100条样本，每一条都参与了最终的评估，标注数据也被全部用作了测试。所以，100条数据，既被用作了训练集，又被用作了测试集。

  • 但是坏处呢？
    你重复训练了100个模型，开销和时间极大！

从上面这个例子，我们可以发现，交叉验证需要付出一定代价。虽然划分的样本越多，数据被利用地越充分，但随之需要消耗更多的时间和训练成本。

这也就是为什么一般数据量足够的情况下，我们不会用K Fold了，没必要啊…，随便你咋划分train和test(只要比例系数合理)，训练也足够拟合，测试也足够客观，何必用K Fold? 浪费时间啊！

为什么说K Fold是侧重验证，而不是选择？

一些人误解了 "K Fold是用来充分利用数据 “这句话 ,认为所谓的"充分利用”，是指通过K Fold交叉验证的这N次评估，帮助选择评估效果最好的一个模型，从此认为K Fold的目的是侧重于选择。

个人持完全反对意见！总结以下两点理由：

  1. 随机性大。正如之前所述，K Fold本就是用于数据量较少的情况，这种情况下，凭借N次实验的评估结果，选择一个N次之中评估效果最好的模型，这本来就是具有非常大的巧合性和随机性的！换句话，通过这种方式"选"出来效果最"好"的模型，放到真实场景下有可能效果非常差！因此，若使用K Fold来帮助你"选"模型，只可能让少数据下的问题变得更加严重！(因为K Fold本意就不是用来选择的啊)
  2. 治标不治本。别忘了，数据量少的情况下，就算你把N份数据全部用来训练都有可能under fitting,更别指望通过K Fold帮你"选"出来的模型能够有多好的性能了…交叉验证说到底只是一种缓解数据量不够的办法。如之前所述，K Fold聚焦于更客观地验证模型，而正因为没有"验证不够客观"的压力, 你就能尽可能多地腾出一些数据进行训练，来尽可能缓解under fitting。总而言之，想要借助K Fold"挑"出"高性能"的模型，好比鸡蛋里挑骨头，无中生有。顶多是自欺欺人罢了。

正常的K Fold步骤

那有人会问，K Fold的K个模型，每个模型的评估都是有随机性，既然没办法"选"模型，那我咋知道最后到底把哪个模型的真实性能最好呢？

一般而言，有两种策略：

  1. 在利用交叉验证之后，将这K份数据，全部都用来训练，得到一个最终的模型，运行上线。
  2. 在利用交叉验证之后，把这K个模型直接上线运行（预测的时候，K个模型投票）。

理论上来讲，我们会倾向于选用第二种。因为有研究证明，多个欠优化模型的投票结果，比一个较优模型的预测结果，要来的更准确。即，三个臭皮匠，顶个诸葛亮。很多传统机器学习算法，如随机森林，ensemble model集成模型，都是这种思想的代表。

总结K Fold的一般步骤2：

  1. 将原始数据划分为N份 (注意权衡数据利用率和开销，即N不宜过大和过小，一般5或10）
  2. 顺序地进行N次实验，每次把1份数据当做验证集，剩下N-1份全部用来从头训练模型。获得算法的N个评估值。
  3. 将N个评估取平均值，以此得到一个较为客观的模型算法性能评价，公开汇报（e.g., 甲方）。
  4. 模型正式上线。可以将N份数据全部用来训练，获得一个最终的模型；也可以把N个模型进行集成。

结合Andrew机器学习以及FeiFeiLi课程的理解，如有谬误请及时指正！

参考：

KFold----交叉验证
xiaohutong1991的专栏
08-11 2万+
一、前言 在机器学习建模过程中，通行的做法是将数据分为训练集和测试集。测试集是与训练独立的数据，完全不参与训练，用于最终模型的评估。在训练过程中，经常会出现过拟合的问题，就是模型可以很好的匹配训练数据，却不能很好在预测训练集外的数据。如果此时就使用测试数据来调整模型参数，就相当于在训练时已知部分测试数据的信息，会影响最终评估结果的准确性。通常的做法是在训练数据再中分出一部分做为验证(Validation)数据，用来评估模型的训练效果。 验证数据取自训练数据，但不参与训练，这样可以相对客观的评估模型对于训
k折交叉验证（k-fold Cross-validation）
weixin_48697962的博客
07-25 3万+
k折交叉验证（k-fold Cross-validation）
正样本7:3分配给训练测试集
yxswhy的博客
09-13 2065
% 前期训练，在正样本文件夹positive中把所有图片中的7/10作为训练集正样本，3/10作为测试集正样本 train_positive = fopen('F:\cafe_windows_practice\face\small_data\train_data\train_positive_7pic.txt','wt'); test_positive =  fopen('F:\cafe_wind...
list数据随机切分7:3
Foveres
08-02 962
import random def split(full_list,shuffle=False,ratio=0.2): n_total = len(full_list) offset = int(n_total * ratio) if n_total==0 or offset<1: return [],full_list if shuffle...
机器学习：数据分割-交叉验证法
最新发布
Wei_sx的博客
12-18 1141
交叉验证是一种有效的模型评估方法，能够减少过拟合风险并提高模型的泛化能力。通过将数据集分割为多个折叠，交叉验证可以充分利用数据，提供更可靠的性能评估。在实际应用中，交叉验证常与其他技术（如网格搜索）结合使用，以优化模型的超参数和性能。
k-fold交叉验证
qq_48185833的博客
05-16 1809
交叉验证的基本思想
KFold交叉验证
缘 源 园
03-16 3736
1. 设置验证集的原因 　　在机器学习建模过程中，将数据分为训练集和测试集。测试集合训练集是完全分开的两个数据集，完全不参与训练，只是用于模型最终确定后，来测试模型的效果。而训练集又要分出一部分数据用来验证模型的训练效果，即验证集。验证集在每次训练集训练结束后，对模型的效果进行初步地测试。之所以要设置验证集，是因为训练数据会有过拟合的情况出现，即训练数据能够很好地匹配训练数据，但对于训练数据之外的数据效果非常差。验证集不参与训练，可以客观地评价模型对于训练集之外的数据的匹配度。 2. 交叉验证原理 　
【机器学习】k-fold cross validation（k-折叠交叉验证）
热门推荐
evillist的博客
03-13 4万+
k-折叠交叉验证就是将训练集的1/k作为测试集，每个模型训练k次，测试k次，错误率为k次的平均，然后平均率最小的模型Mi。
用Matlab实现 分类算法, k-fold交叉验证，神经网络.zip
08-20
matlab算法，毕设、课设程序，全部源码均已进行严格测试，可以直接运行！ matlab算法，毕设、课设程序，全部源码均已进行严格测试，可以直接运行！ matlab算法，毕设、课设程序，全部源码均已进行严格测试，可以直接...
matlab机器学习管道与K-fold交叉验证库的FC数据.zip
05-15
本资料“matlab机器学习管道与K-fold交叉验证库的FC数据.zip”显然关注的是如何在MATLAB中应用机器学习管道以及K-fold交叉验证技术。以下是对这两个关键概念的详细说明。 **机器学习管道（Machine Learning ...
K-fold交叉验证
qq_32649321的博客
07-29 299
K-fold交叉验证步骤：图片来源：学习资料：1.
K-折交叉验证（K-fold Cross Validation）
qq_40844444的博客
11-19 1176
K-折交叉验证是一种统计学方法，用于估计一个模型的泛化能力。每次迭代中，使用K-1个子集作为训练集，剩下的一个子集作为验证集，进行模型的训练和评估。在循环中，我们分别对每个折进行模型训练和验证，并计算准确率。最后，我们计算了所有折的平均准确率，以评估模型的泛化能力。在这段代码中，我们首先加载了鸢尾花数据集，并定义了K折交叉验证的折数。K-折交叉验证通过在不同的数据子集上重复训练和验证模型，可以减少模型的方差，提供模型性能的更稳定估计。以下是一个使用Python实现K-折交叉验证的例子，并附有注释。
交叉验证之KFold
hehe_www2012的博客
05-18 2376
1.通过sklearn.model_selection.KFold所提供的一个小例子来进行理解交叉验证及应用交叉验证 2. from sklearn.model_selection import KFold import numpy as np X = np.array(["a", "b", "c", "d", "e"]) # print(X[0],X[1],X[2],X[3],X[4],X[5]) # 设置其对折三次，这个变量至少为2 kf = KFold(n_splits=3) i =
【20210922】【机器/深度学习】K折交叉验证（k-fold cross validation）
诗小葵的博客
09-22 1万+
k 折交叉验证
k-交叉验证KFold
a1013552415的博客
10-29 446
KFold(n_splits=’warn’, shuffle=False, random_state=None) 参数：n_split:要划分的折数 　　　shuffle: 每次都进行shuffle，测试集中折数的总和就是训练集的个数 　　　random_state:随机状态 例子： from sklearn.model_selection import KFold kf = KFold(5, True, 10) X, Y = loda_data('./data.txt') for train_index
K-Fold 交叉验证 (Cross-Validation)
qq_39783265的博客
10-23 1796
在机器学习建模过程中，通行的做法通常是将数据分为训练集和测试集。测试集是与训练独立的数据，完全不参与训练，用于最终模型的评估。在训练过程中，经常会出现过拟合的问题，就是模型可以很好的匹配训练数据，却不能很好在预测训练集外的数据。如果此时就使用测试数据来调整模型参数，就相当于在训练时已知部分测试数据的信息，会影响最终评估结果的准确性。通常的做法是在训练数据再中分出一部分做为验证(Validation...
k-fold cross validation
qq_27005889的博客
02-09 373
概念： 将原始数据（dataset）进行分组，一部分做为训练集来训练模型，另一部分做为测试集来评价模型。 使用优点： 1.交叉验证用于评估模型的预测性能，尤其是训练好的模型在新数据上的表现，可以在一定程度上减小过拟合。 2.可以从有限的数据中获取尽可能多的有效信息。 ...
LOO策略k-fold交叉验证
07-28
LOO策略是指Leave One Out Cross Validation，它是一种K-fold交叉验证的方法，其中K的取值等于数据集的行数n。在LOOCV中，每次只留下一个样本作为验证集，其余的样本作为训练集，然后重复这个过程n次，每次都选择不同的样本作为验证集。最后，将n次验证的结果取平均作为模型的性能指标。\[2\] LOOCV的优点是可以充分利用数据集中的每个样本进行验证，因为每个样本都会被作为验证集一次。这样可以更准确地评估模型的性能。然而，LOOCV的缺点是计算成本较高，因为需要重复n次训练和验证的过程。特别是当数据集较大时，计算时间会显著增加。\[2\] 总结来说，LOOCV是一种较为准确但计算成本较高的交叉验证方法，适用于数据集较小的情况下。它可以帮助我们评估模型的性能，并选择最佳的模型。 #### 引用[.reference_title] - *1* *2* [三种模型验证方法：holdout, K-fold, leave one out cross validation(LOOCV)](https://blog.csdn.net/qq_36333576/article/details/124108974)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [交叉验证(Cross-Validation)](https://blog.csdn.net/JavaChaoCo/article/details/50957685)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值