nuScenes数据集评价指标

评价指标：

以bevdet论文为例：

mAP:

在评测时依旧使用目标检测中常用的的AP，不过AP的阈值匹配不使用IoU来计算，而使用在地平面上的2D中心距离d来计算。这样解耦了物体的尺寸和方向对AP计算的影响。d设置为{0.5,1,2,4}米。在计算AP时，去除了低于0.1的recall和precision并用0来代替这些区域。不同类以及不同难度D用来计算mAP：

(This is done in order to decouple detection from object size and orientation but also because objects with small footprints, like pedestrians and bikes, if detected with a small translation error, give 0 IOU. This makes it hard to compare the performance of vision-only methods which tend to have large localization errors )

mATE：

Average Translation Error,平均平移误差(ATE) 是二维欧几里德中心距离(单位为米).

 mASE：

Average Scale Error, 平均尺度误差(ASE) 是1 - IoU, 其中IoU 是角度对齐后的三维交并比

mAOE：

Average Orientation Error.平均角度误差(AOE) 是预测值和真实值之间最小的偏航角差。(所有的类别角度偏差都在360∘度内, 除了障碍物这个类别的角度偏差在180∘ 内)

mAVE：

 Average Velocity Error.平均速度误差(AVE) 是二维速度差的L2 范数(m/s)。

mAAE：

Average Attribute Error,平均属性错误(AAE) 被定义为1−acc, 其中acc 为类别分类准确度。

 NDS:

对于每个TP指标，我们计算所有类别的平均TP（mTP）：

  对于每个TP 度量，我们计算所有类的平均TP 度量(mTP)，并且所有的TP 指标使用 = 2 米的中心距离计算。

 除了mAP外，nuScenes还提出了一个指标NDS，该指标使用truth positive(TP)指标计算出来。

NDS一半基于检测性能（mAP），而另一半基于检测性能根据位置、大小、方向、属性和速度度量的检测质量（ATE,ASE,AOE,AVE,AAE）。由于mAVE、mAOE和mATE可以大于1，我们在（3）中将每个度量限制在0和1之间。

其他相关

参考链接：自动驾驶数据集nuScenes浅谈 - 知乎

传感器的配备

6个相机、一个LiDAR、5个RADAR

如下图所示。值得注意的是，相比KITTI和Waymo，nuScenes提供了360度的相机视野，所以该数据集可以用来做360度场景的多传感器融合。

 

数据标注

对于每一个场景，知选择其中的关键帧做标注，标注速率在2Hz，总共标注了23类物体的3D bbox（x,w,z,w,l,h,yaw）、类别信息、以及其他的一些属性(可见度、状态)。

对于物体检测问题，对于t时刻的场景，我们可以使用[t-0.5,t]内的传感器数据去检测场景内的物体。并且我们只是选择了23种物体中的10种作为检测对象。他们分别是Car Pedestrian Bus Barrier Traffic cone. Truck Trailer Motorcycle. Constructions. Bicycle。

值得注意的是，由于标注了23类物体，所以class-imblance问题会更加严重，在nuScenes中最大的物体标注imblance为1:10k，而在KITTI中只是1:36。这让研究者可以探讨长尾分布问题。