在大家的算法工作中,会训练各种各样的模型。导致大家模型实际应用效果不够好的原因有很多,一些常见的原因主要是模型结构不合理 、损失函数不合理 、超参数设置不合理,但除了这些原因,我想最核心的一个原因是数据的质量本身。
相信每一个自动驾驶行业的开发者对此都是会深有体会的,Lyft 团队在CVPR的presentation上就发出了“High quality labeled data is the key”的感慨。这也是本篇文章想要着重强调的主题。
下面通过一个实验来让大家直观感受一下“标注质量对模型训练性能的影响”
实验主题:不同质量标注对模型性能影响的对比实验
实验框架:
图中左侧是训练的过程,右侧是测试的过程
训练的部分逻辑:
首先是将KITTI数据集的图片搭配原生Original label可以得到一个Original KITTI dataset,相应地再将图片搭配Graviti label可以得到一个Graviti KITTI dataset;然后分别使用这两个数据集各自训练一个2D目标检测的模型,这里使用的是经典的faster-rcnn模型,得到的模型分别叫做Original model和Graviti model。
测试部分的逻辑:
使用了两个标注比较精准的第三方数据集;Waymo和Cityscape---来对两个模型分别进行测试。
数据处理:
先介绍一下本实验使用到的训练集和测试集:
(1)Waymo 数据集是由Waymo公司的自动驾驶汽车采集的多传感器自动驾驶数据集 它的相机数据是连续采集的,其中一百个场景提供了2D框标注。
(2&#x