《Precise Detection in Densely Packed Scenes》是发表在2019cvpr上的文章并且有源码。
代码地址:https://github.com/eg4000/SKU110K_CVPR19
这篇文章的目的是对于一些人为的密集场景的物体进行检测定位。如下图所示,在一些商店的货架上待售商品摆放密集。使用一些SOTA的方法如RetinaNet,会出现检测框重叠的问题,如图中a所示。使用文章方法可以减少这种问题,如图中b所示。其中c和d是对a和b的局部区域放大的结果。
文章方法分为四步,图片输入,网络提取特征,EM-Merger推断,NMS,不完全对应但基本可以用下图表示。
一、网络结构
如上图中的b所示,文章采用resnet50作为主干网络,网络采用FPN框架,网络有三个输出分支都采用了RPN结果,其中有两个和RetinaNet一样。
一个是detection head,是用来回归定位物体的,输出为(x,y,h,w)坐标,用来表示网络检测的物体坐标。
第二个是classification,是用来说明是什么物体的,输出的值取值在0-1之间。
第三个是新提出来的,取名为soft-iou layer。
1.1 Soft-IoU Layer
先说明一下为什么要提出这个网络层。在一般的物体检测算法中,检测出来的框要经过一个叫NMS的后处理,这个后处理是根据预测框的类别、分数和框的IOU来计算的。预测框的分数一般是对于框内物体进行预测的,它并不能代表预测框和真实框之间的iou,所以可能存在预测框分数很高,但是该预测框并没有很好的定位出物体的情况。这里提出Soft-IoU就是为了估计框的定位是否准确,该层的输出就是预测框与真实框的IoU值。
对于IoU的计算,假设预测出的是N个检测框,每个预测框
b
i
,
i
∈
{
1...
N
}
b_i,i\in \{1...N\}
bi,i∈{1...N}的IoU计算如下
I
o
U
i
=
I
n
t
e
r
s
e
c
t
i
o
n
(
b
^
j
,
b
i
)
U
n
i
o
n
(
b
^
j
,
b
i
)
IoU_i=\frac{Intersection(\hat{b}_j,b_i)}{Union(\hat{b}_j,b_i)}
IoUi=Union(b^j,bi)Intersection(b^j,bi)
其中
b
^
j
\hat{b}_j
b^j表示离预测框
b
i
b_i
bi最近的标定框*(文章写的是
b
^
i
\hat{b}_i
b^i,我觉得不合理,这里如果有问题,欢迎指出)*。
1.2 loss函数
先说一下新提出的Soft-IoU Layer的loss函数,采用的是交叉熵,如下所示:
L
s
I
o
U
=
−
1
n
∑
i
=
1
n
[
I
o
U
i
l
o
g
(
c
i
i
o
u
)
+
(
1
−
I
o
U
i
)
l
o
g
(
1
−
c
i
i
o
u
)
]
L_{sIoU}=-\frac{1}{n}\sum^{n}_{i=1}[IoU_ilog(c^{iou}_i)+(1-IoU_i)log(1-c^{iou}_i)]
LsIoU=−n1∑i=1n[IoUilog(ciiou)+(1−IoUi)log(1−ciiou)]
其中n表示每个batch的标定框数,
I
o
U
i
IoU_i
IoUi表示预测框与真实框的iou,
c
i
i
o
u
c^{iou}_i
ciiou表示预测的iou分数,说白了这一层就是一个简单的二分类。
对于整个网络的loss,如下式所示:
L
=
L
C
l
a
s
s
i
f
i
c
a
t
i
o
n
+
L
R
e
g
r
e
s
s
i
o
n
+
L
s
I
o
U
L=L_{Classification}+L_{Regression}+L_{sIoU}
L=LClassification+LRegression+LsIoU
L
s
I
o
U
L_{sIoU}
LsIoU已经介绍过了,其他两个损失函数同FasterRCNN。
二、EM-Merger单元(推断过程使用)
对于网络的输出,有N个预测框的位置、置信度、预测的iou分数 c i i o u c^{iou}_i ciiou。为了处理密集场景,文章提出EM-Merger单元来过滤重叠的预测框。
2.1 Detections as Gaussians
名字取得有点迷,这部分说白了就是将检测出的框看出是高斯分布,一个框对应一个高斯分布,对于N个预测框使用下式表示:
F
=
{
f
i
}
i
=
1
N
=
{
N
(
p
;
μ
i
,
Σ
i
)
}
i
=
1
N
F=\{f_i\}^N_{i=1}=\{\mathcal{N}(p;\mu_i,\Sigma_i) \}^N_{i=1}
F={fi}i=1N={N(p;μi,Σi)}i=1N
其
p
∈
R
2
p\in R^2
p∈R2,是个二维的。
μ
i
=
(
x
i
,
y
i
)
\mu_{i}=(x_i,y_i)
μi=(xi,yi),说明高斯分布的均值是使用预测框的中心点来表示的。对角协方差
Σ
i
=
[
(
h
i
/
4
)
2
,
0
;
0
,
(
w
i
/
4
)
2
]
\Sigma_i=[(h_i/4)^2,0;0,(w_i/4)^2]
Σi=[(hi/4)2,0;0,(wi/4)2],
(
h
i
,
w
i
)
(h_i,w_i)
(hi,wi)表示预测框的长和框。(这里代码中有些值不同,不影响理解)
对于所有预测的框的分布就可以使用混合高斯(MoG)表示,如下式所示
f
(
p
)
=
∑
i
=
1
N
α
i
f
i
(
p
)
f(p)=\sum^N_{i=1}\alpha_if_i(p)
f(p)=∑i=1Nαifi(p)
其中
f
i
∈
F
f_i\in F
fi∈F,
α
i
=
c
i
i
o
u
∑
k
=
1
N
c
k
i
o
u
\alpha_i=\frac{c^{iou}_{i}}{\sum^N_{k=1}c^{iou}_k}
αi=∑k=1Nckiouciiou。
2.2 Selecting predictions: formal definition
这步是在2.1的基础上,过滤一部分的预测框,假设这步输入的预测框有N个,输出的有K个,其中K<<N。也就是从N个高斯分布中找到K个高斯分布,这K个高斯分布表示方法同2.1,如下所示。
G
=
{
g
j
}
j
=
1
K
=
{
N
(
p
;
μ
j
′
,
Σ
j
′
)
}
j
=
1
K
G=\{g_j\}^K_{j=1}=\{\mathcal{N}(p;\mu'_j,\Sigma'_j) \}^K_{j=1}
G={gj}j=1K={N(p;μj′,Σj′)}j=1K
并且希望这K个高斯分布的组合能够和使用上面N个高斯分布组合出的分布很相似,K个高斯分布的组合如下所示
g
(
p
)
=
∑
j
=
1
K
β
j
g
j
(
p
)
g(p)=\sum^K_{j=1}\beta_jg_j(p)
g(p)=∑j=1Kβjgj(p)
策略f和g的相似度,我们使用KL-divergence,如下式所示
d
(
f
,
g
)
=
∑
i
=
1
N
α
i
m
i
n
j
=
1
K
K
L
(
f
i
∣
∣
g
j
)
d(f,g)=\sum^N_{i=1}\alpha_imin^K_{j=1}KL(f_i||g_j)
d(f,g)=∑i=1Nαiminj=1KKL(fi∣∣gj)
2.3 An EM-approach for selecting detections
这步是为了解决如何从N个高斯分布中找到K个近似的高斯分布表示,从标题可以看出,这步采用的是基于EM的算法。
EM算法分为两步,一个叫E-step,另一个叫M-step。下面来详细讲解一下。
在这里E-step的任务是根据
f
i
f_i
fi和g的分布对
f
i
f_i
fi进行聚类,表达式如下所示
π
(
i
)
=
a
r
g
m
i
n
i
K
K
L
(
f
i
∣
∣
g
j
)
\pi(i)=argmin^K_iKL(f_i||g_j)
π(i)=argminiKKL(fi∣∣gj)
上式想表达的就是将
f
i
f_i
fi通过KL-divergence将其分到K个类中。
M-step是通过新的聚类样本更新聚类参数,更新方式如下
β
j
=
∑
i
∈
π
−
1
(
j
)
α
i
\beta_j=\sum_{i\in \pi^{-1}(j)}\alpha_i
βj=∑i∈π−1(j)αi
μ
j
′
=
1
β
j
∑
i
∈
π
−
1
(
j
)
α
i
μ
i
\mu'_j=\frac{1}{\beta_j}\sum_{i\in \pi^{-1}(j)}\alpha_i\mu_i
μj′=βj1∑i∈π−1(j)αiμi
Σ
j
′
=
1
β
j
∑
i
∈
π
−
1
(
j
)
α
i
(
Σ
i
+
(
μ
i
−
μ
j
′
)
(
μ
i
−
μ
j
′
)
T
)
\Sigma'_j=\frac{1}{\beta_j}\sum_{i\in \pi^{-1}(j)}\alpha_i(\Sigma_i+(\mu_i-\mu'_j)(\mu_i-\mu'_j)^T)
Σj′=βj1∑i∈π−1(j)αi(Σi+(μi−μj′)(μi−μj′)T)
文章说明,当迭代的误差小于1e-10或者达到一定的迭代次数时,认为迭代收敛。
2.4 Gaussians as detections
通过2.3中的操作,一旦EM算法收敛,我们可以得到K个估计出的高斯分布。其中K的取值为 K = s i z e ( I ) / ( μ w μ h ) K=size(I)/(\mu_w\mu_h) K=size(I)/(μwμh),符号文章没有解释。看完代码发现解释起来相对不是很方便。
先讲一下N个高斯分布怎么来的吧,对于一个检测图像,预测出了x个框,将所有框缩小一定的比例(比如代码中的0.3)然后将x个框用高斯分布表示,这样就能在图像上画出一个个的二维高斯分布图,将对画完的高斯分布图求轮廓,每个轮廓包含的预测框就定为N个。上面K的求解,就是在这个轮廓中N个预测框的K个估计框分布,I为当前轮廓的区域面积, ( μ w μ h ) (\mu_w\mu_h) (μwμh)指的是N个预测框缩小0.3倍后面积取中位数的值。
得到的K个高斯分布(也可以理解为K)并不是最终的检测结果,还要经过一些过滤规则,比如预测框中心点在K个高斯分布内的内的框,分数(这里的分数值得是)达到一定值,NMS等等,这些具体细节文章没有写出来,可以看代码。
经过一系列操作后等到的最终结果就是最终的预测框了,这里一系列操作包括EM,以及EM后的过滤操作,这些都可以理解为过滤很多不必要的冗余检测框。
这里原理基本讲完了,后处理还是蛮复杂的,具体可以看看代码https://github.com/liuheng92/SKU110K_CVPR19
我原代码没有改动,加了一些注释
欢迎加入Object Detection交流,群聊号码:910457072