数据集内容
包含7481张训练图片以及7518张测试图片,一共有80256个标记物体
并且测试模式包含普通的视角以及鸟瞰视角(Bird Eye’s View, BEV)
任务
这里主要针对Kitti数据集的3D检测任务,分为3类:
(1)简单:最小的box高度为40px,不出现遮挡,最大box重叠比例为15%
(2)中等:最小的box高度为25px,最多出现部分遮挡,最大box重叠比例为30%
(3)困难:最小的box高度为25px,最多出现几乎完全遮挡,最大box重叠比例为50%
算mAP的时候,对于Car一般使用IoU=0.7,对于行人Pedestrain以及骑行者Cyclists使用IoU=0.5
一般的度量指标,这里分别对于
- 3D Object detection
- 3D Object detection (BEV)
都有mAP,mAP-BEV以及AOS
mAP和mAP-BEV的区别在于,是否是利用鸟瞰图来计算IoU,其形式也相同,为:
A
P
=
T
P
T
P
+
F
P
AP = \frac{TP}{TP+FP}
AP=TP+FPTP
m
A
P
=
1
40
∑
i
=
1
40
A
P
i
mAP=\frac{1}{40}\sum_{i=1}^{40}{AP_i}
mAP=401i=1∑40APi
其中
A
P
i
AP_i
APi代表
r
e
c
a
l
l
=
i
40
recall=\frac{i}{40}
recall=40i时候的AP
AOS用来度量方向的精度
A
O
S
=
1
40
∑
i
=
1
40
m
a
x
r
∗
:
r
∗
≥
r
S
(
r
∗
)
AOS=\frac{1}{40}\sum_{i=1}^{40}{max_{r_* : r_* \geq r} S(r_* )}
AOS=401i=1∑40maxr∗:r∗≥rS(r∗)
S
(
r
)
=
1
∣
D
r
∣
∑
i
∈
D
r
1
+
c
o
s
Δ
θ
2
S(r)= \frac{1}{|D_r|}\sum_{i\in D_r}\frac{1+cos\Delta \theta}{2}
S(r)=∣Dr∣1i∈Dr∑21+cosΔθ
S
(
r
)
S(r)
S(r)为
r
e
c
a
l
l
=
i
40
recall=\frac{i}{40}
recall=40i的方向相似度,
Δ
θ
\Delta \theta
Δθ是角度差值