文章目录
数据集预处理开个坑:
1.各大引擎爬取回来的数据
2.同事们帮我标注的数据
3.imagenet的数据…
4.迭代的badcase数据
它们散落在不同的文件夹下,因此需要一个pipeline来完成数据集管理这件事:
- 图片验证 0 size的和损害打不开的删除
- 去重处理,各大引擎来的难免重复,去掉
- 生成空白类(比如yolov)的空白label
- 安自定义比例划分train和test, 特别是迭代的图片,仍然需要把迭代扩充的数据划分进来
先开个坑,朋友们可以在这里蹲续集!大家加油