数据集划分

留出法:直接将数据集D划分为两个互斥的部分,其中一部分作为训练集S,另一部分用作测试集T。

     通常训练集测试集的比例为70%:30%。同时,训练集测试集的划分有两个注意事项:

  1. 尽可能保持数据分布的一致性。避免因数据划分过程引入的额外偏差而对最终结果产生影响。在分类任务中,保留类别比例的采样方法称为“分层采样”(stratified sampling)。

    2. 采用若干次随机划分避免单次使用留出法的不稳定性。

交叉验证法:先将数据集D划分为k个大小相似的互斥子集,每次采用k−1个子集的并集作为训练集,剩下的那个子集作为

                      测试集。进行k次训练测试,最终返回k个测试结果的均值。又称为“k折交叉验证”(k-fold cross validation)。

为减少因样本划分带来的偏差,通常重复p次不同的划分,最终结果是p次k折交叉验证结果的均值。 

留一法:是k折交叉验证k=m(m为样本数)时候的特殊情况。即每次只用一个样本作测试集。该方法计算开销较大。

自助法:以自助采样为基础(有放回采样)。每次随机从D中挑选一个样本,放入D′中,然后将样本放回D中,重复m次之后,

             得到了包含m个样本的数据集。

  点:自助法在数据集较小、难以有效划分训练/测试集时很有用。

  缺点:然而自助法改变了初始数据集的分布,这回引入估计偏差。

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值