Standardized Max Logits: A Simple yet Effective Approach for Identifying Unexpected Road Obstacles in Urban-Scene Segmentation
一、背景
处理异常物体检测问题中,常用的解决方法需要额外的数据库、重新训练网络或者建立生成模型,这些方法会引入额外的工作量、在推理时也会花费较大的时间。本文提出了一种方法,直接使用预训练网络的预测分数(logits)来检测未知物体。
在使用预训练网络的预测分数的方法中,有三种基本方法。这些方法都使用了预测结果中不同类的分数,并设定阈值,进而判断样本是否属于OoD,或未知物体。比如当前阈值为 0.7
,网络对于某一样本的预测分数分别为,[苹果,香蕉,梨]=[0.6,0.2,0.3]
,不考虑未知物体,则我们预测该样本为输出分数中的最大值所对应的类,即苹果
。若考虑未知物体,由于其输出分数的最大值仅为 0.6
,小于阈值,我们认为置信度较低,从而判定该样本为未知物体。使用不同的分数,有如下三种方法:
MSP 方法
第一种方法,最基本的思想是使用最大softmax概率(MSP,maximum softmax probability),正确分类的图像会有较大的MSP值,若分类得到的MSP较低,则可以认为其属于OoD样例,即属于未知类别。MSP方法的缺点在于softmax函数会产生较高的置信度,往往在OoD数据上也会产生较大的分数。
Max Logit 方法
第二种方法,直接使用softmax层之前的网络输出的最大值(max logit)用于判断未知样本。该方法优于第一种方法,其缺点是对于不同的类别,其对应的max logit分布不同,比如预测苹果的max logit分布在 [0.6-0.7] 区间,预测香蕉的max logit分布在 [0.65-0.9] 区间。
SML 方法
针对第二种方法的缺点,论文提出了 SML(standardized max logits)。即将 max logits 标准化,使得不同类别的max logits分布相同,从而可以通过阈值判断出OoD数据。
上图表示每个类别在训练集中对应的分数(MSP、ML、SML)所呈现的分布,红色表示判断正确的分数,蓝色表示将OoD数据误判为对应类别的分数。可以看到MSP的值普遍偏大,ML中各类之间分布差异较大,而SML中已知类和未知类之间具有较大的差异,且不同类之间具有较大的公共空白区。其中灰色区域表示假阳性区,即错误的将未知类判断为已知类。
二、论文贡献
论文主要贡献如下:
- 标准最大对数概率(Standardized max logits)方法,通过利用预训练模型的预测分数判断OoD数据
- 迭代边界抑制(iterative boundary supression)方法,用于解决边界置信度过低的问题
- 膨胀平滑(dilated smoothing)方法,用于解决较小区域置信度过低的问题
在分割任务中,对于输入图像,得到max logit分数图,由于不同类会有不同的max logit范围,因而对于蓝框部分(未知物体)的max logit会大于其他已知类的max logit,因而需要首先将max logit 进行标准化。随后注意到,不同类别的交接处max logit较低,会被误判为未知物体,因而采用边界抑制算法,消除边界处较低的置信度。最后在黄框部分可以发现有较小区域的未知物体,因而采用平滑方法,将偶然出现的max logit较低的区域平滑掉。
SML 方法
首先定义属于
-
图像
X ∈ R 3 × H × W X\in \mathbb{R}^{3\times H\times W} X∈R3×H×W -
类别数目
C C C -
logit 输出
F ∈ R C × H × W F\in\mathbb{R}^{C\times H\times W} F∈RC×H×W -
max logit
L h , w ∈ max c F c , h , w L_{h,w}\in\max_cF_{c,h,w} Lh,w∈cmaxFc,h,w -
预测标签
Y ^ h , w = arg max c F c , h , w \hat{Y}_{h,w}=\arg\max_c F_{c,h,w} Y^h,w=argcmaxFc,h,w
对每个类,计算出其max logits的平均值以及方差
μ
c
=
∑
i
∑
h
,
w
1
(
Y
^
h
,
w
(
i
)
=
c
)
⋅
L
h
,
w
(
i
)
∑
i
∑
h
,
w
1
(
Y
^
h
,
w
(
i
)
=
c
)
\mu_c=\frac{\sum_i\sum_{h,w}\mathbb{1}(\hat{Y}^{(i)}_{h,w}=c)\cdot L^{(i)}_{h,w}}{\sum_i\sum_{h,w}\mathbb{1}(\hat{Y}^{(i)}_{h,w}=c)}
μc=∑i∑h,w1(Y^h,w(i)=c)∑i∑h,w1(Y^h,w(i)=c)⋅Lh,w(i)
σ c 2 = ∑ i ∑ h , w 1 ( Y ^ h , w ( i ) = c ) ⋅ ( L h , w ( i ) − μ c ) 2 ∑ i ∑ h , w 1 ( Y ^ h , w ( i ) = c ) \sigma_c^2=\frac{\sum_i\sum_{h,w}\mathbb{1}(\hat{Y}^{(i)}_{h,w}=c)\cdot (L^{(i)}_{h,w}-\mu_c)^2}{\sum_i\sum_{h,w}\mathbb{1}(\hat{Y}^{(i)}_{h,w}=c)} σc2=∑i∑h,w1(Y^h,w(i)=c)∑i∑h,w1(Y^h,w(i)=c)⋅(Lh,w(i)−μc)2
随后标准化 max logits 可以得到 SML
S
∈
R
H
×
W
S\in\mathbb{R}^{H\times W}
S∈RH×W
S
h
,
w
=
L
h
,
w
−
μ
Y
^
h
,
w
σ
Y
^
h
,
w
S_{h,w}=\frac{L_{h,w}-\mu_{\hat{Y}_{h,w}}}{\sigma_{\hat{Y}_{h,w}}}
Sh,w=σY^h,wLh,w−μY^h,w
迭代边界抑制
在该过程中迭代的将非边界像素值扩展到边界部分,使得边界部分逐渐变窄。论文假定边界宽度为一个特定值,随后在每次迭代中减小边界宽度。具体过程如下:
-
在第 i i i 次迭代中,边界宽度为 r i r_i ri,获取到非边界点掩码 M ( i ) ∈ R H × W M^{(i)}\in\mathbb{R}^{H\times W} M(i)∈RH×W
M h , w ( i ) = { 0 , if ∃ h ′ , w ′ s . t . Y ^ h , w ≠ Y ^ h ′ , w ′ 1 , otherwise M^{(i)}_{h,w}=\begin{cases} 0,&\text{if}\,\exists h',w'\,s.t.\,\hat{Y}_{h,w}\neq\hat{Y}_{h',w'}\\ 1,&\text{otherwise} \end{cases} Mh,w(i)={0,1,if∃h′,w′s.t.Y^h,w=Y^h′,w′otherwise
M h , w = 1 M_{h,w}=1 Mh,w=1 表示 ( h , w ) (h,w) (h,w) 位置的像素点表示的是非边界点,否则表示的是边界点。 -
在所有的边界点上进行边界平均池化(BAP,boundary-aware average pooling)算法,对于边界上的像素点 b b b 以及其接收域 R \mathcal{R} R,该算法定义为
B A P ( S R ( i ) , M R ( i ) ) = ∑ ( h , w ) ∈ R S h , w ( i ) × M h , w ( i ) ∑ ( h , w ) ∈ R M h , w ( i ) BAP(S^{(i)}_\mathcal{R},M^{(i)}_\mathcal{R})=\frac{\sum_{(h,w)\in\mathcal{R}}S^{(i)}_{h,w}\times M^{(i)}_{h,w}}{\sum_{(h,w)\in\mathcal{R}}M^{(i)}_{h,w}} BAP(SR(i),MR(i))=∑(h,w)∈RMh,w(i)∑(h,w)∈RSh,w(i)×Mh,w(i)
随后将 SML 之后点 b b b 的值用 BAP 值进行代替。即使用边界值周围非边界点的平均值来取代边界点的值。文章中, r 0 = 4 o r 8 r_0=4or8 r0=4or8,每次减小 r r r 的幅值 Δ r = 2 \Delta r=2 Δr=2,接收域的大小为 3 × 3 3\times 3 3×3
膨胀平滑方法
除了边界点之外,还存在一些区域,真实值为已知物体,但是其max logit较小,会被误判为未知物体。若边界点周围的点分数较低,也会产生这些区域。文章基于空间连贯性的思想,该区域所代表的类与其周围区域所代表的类具有一致性。文章采用了滤波器进行平滑,并且使用膨胀(dilation)的操作对滤波器的接收域进行扩展。
论文中使用高斯卷积核
K
∈
R
k
×
k
K\in\mathbb{R}^{k\times k}
K∈Rk×k 定义如下
K
i
,
j
=
1
2
π
σ
2
exp
(
−
Δ
i
2
+
Δ
j
2
2
σ
2
)
K_{i,j}=\frac{1}{2\pi\sigma^2}\exp{(-\frac{\Delta i^2+\Delta j^2}{2\sigma^2})}
Ki,j=2πσ21exp(−2σ2Δi2+Δj2)
其中
Δ
i
=
i
−
k
−
1
2
\Delta i=i-\frac{k-1}{2}
Δi=i−2k−1,
Δ
j
=
j
−
k
−
1
2
\Delta j=j-\frac{k-1}{2}
Δj=j−2k−1,参数
k
=
7
,
σ
=
1
k=7,\sigma=1
k=7,σ=1,膨胀系数
6
6
6。
膨胀平滑示意如下:
即在卷积核之间增加一些空白区域。