数据集划分方法和原则

最新推荐文章于 2025-02-12 13:04:02 发布

youngfengying

最新推荐文章于 2025-02-12 13:04:02 发布

阅读量574

点赞数 1

文章标签：深度学习 python

本文链接：https://blog.csdn.net/qq_30190551/article/details/144725911

版权

1 留出法

将数据集D划分为三个互斥的集合，其中一个集合作为训练集S，一个作为测试集T，另一个为验证集V，即：

$D=S\cup T\cup V,S\cap T=\varnothing ,S\cap V=\varnothing ,T\cap V=\varnothing$

训练/测试及的划分要尽可能的保持数据分布的一致性，避免因数据划分过程引入额外的偏差对最终结果产生影响。例如对数据集D进行分层采样获得70%个样本作为训练集S，30%样本作为测试集，如果D包含500正样本，500负样本，则分层采样的S应该包含350正样本，350负样本，T中则包含150正样本，150负样本，如果S、T中样本类别差别很大，则误差估计将由于训练/测试数据分布得的差异性产生偏差。

2.交叉验证法

3. 自助法

自助法直接以自助采集法(bootstrap sampling)为基础，给定包含m个样本的数据集D，对其进行采样产生数据集D' ，它的方式是每次从D中挑选一个样本，将其拷贝到D'中，然后再将该样本放入初始数据集D中，使样本在下次采样时仍然可能被采样到，这个过程重复执行m次，得到包含m个样本的数据集D'这就是自助法的结果。