关于数据集划分比例问题

问题

图像数据集是训练模型与测试模型必备的,一般而言收集到的数据是整个数据,会将整个数据划分成三个数据集,训练集,验证集以及测试集。

验证和测试的数据要确保特征分布和训练集接近,类别比例也是接近的,这样得到的准确率或者loss才真实。

在做ocr识别模型训练的时候,样本比较大,这时候有点疑惑该如何划分数据集,且数据集中较大比例是自动生成的数据。

方法

  • 一般而言,对于样本量是非常多的数据时候,可以按照7:3~9:1划分数据集。
  • 但是对于几百万或千万级数据量而言,测试集样本不需要太多,只需要划分一定数量的数据作为验证集,划太多也没有意义,毕竟测试集的目的是验证其泛化性能。在pp-ocr文章中,1700w训练数据,测试样本1.7w张

另外对于混合自动生成的数据以及真实数据的情况,需要做一些样本均衡。保证一个batch中真实数据样本和合成数据样本的比例是1:1~1:3左右效果比较理想。如果合成数据过大,会过拟合到合成数据,预测效果往往不佳。

还有一种启发性的尝试是可以先用大量合成数据训练一个base模型,然后再用真实数据微调,在一些简单场景效果也是会有提升的。

参考

  • 3
    点赞
  • 3
    收藏
  • 打赏
    打赏
  • 7
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:技术黑板 设计师:CSDN官方博客 返回首页
评论 7

打赏作者

uncle_ll

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值