数据集划分和预处理的顺序

数据集是先做预处理呢,还是先划分训练集测试集呢?

应该先划分数据集,理论上训练集和测试集是相互独立的。
想要让模型效果达到很好的泛化能力,就是能应对一切没有见过的挑战,这些挑战就是测试集中给出的,在训练集里并没有见过的,而在测试集里出现了;
要是在划分数据集前做了预处理,那么就会把测试集里的信息带入了训练集,可能最终的效果(对测试集的预测正确率)会有所提升,但其实模型并没有达到很好的泛华效果,不能很好的应对新来的数据;
所以应该先划分数据集,然后分别对训练集和测试集做预处理,,作为两个独立的单元,没有信息的交融。

  • 16
    点赞
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值