D3S – A Discriminative Single Shot Segmentation Tracker
1.拟解决问题
a. SiamMask未将localization和segmentation联合在一起提升鲁棒性
b. SiamRPN中固定的模板目标不能适应动态变化的场景
2.解决方法
2.1 D3S分割架构
整体步骤:
a.将第一帧输入骨干网络提取特征
b.将提取的特征分别输入GIM模块和GEM模块,通过GIM模块得到前景和背景信息,通过GEM模块得到定位信息
c.将三者通过Concat融合,然后输入refinement得到第一帧mask和bounding box
d.在跟踪时,使用骨干网络提取待跟踪帧搜索区域的特征
e. 将提取的特征输入GIM模块,通过与第一帧搜索区域比较得到像素级的前景相似度和背景相似度
f.取每个像素点相似度最高的k个,然后分别平均得到该帧的前景和背景相似度
g.重复c得到该帧的mask和bounding box
2.2 GIM
我们从下图可以看出GIM的结果可以有效的区分前景和背景,但对于目标相似问题存在不足,因此结合了下面的GEM来跟踪目标。
整体步骤:
a.将骨干网络提取的特征输入该模块
b.通过1×1和3×3卷积使特征更适合该模块
c.在第一帧target的每个像素上提取分割特征向量作为
X
F
X^F
XF,在第一帧target附近的区域(搜索区域中非target部分)的每个像素上提取分割特征向量作为
X
B
X^B
XB
d.在跟踪时提取待跟踪帧search region的像素级特征,记为
X
G
I
M
X_{GIM}
XGIM
e.通过
X
G
I
M
X_{GIM}
XGIM和第一帧的信息计算前景和背景相似度
f.取每个像素点上相似度得分最高的k个进行加权平均后得到F和B
g.对F(前景相似度通道)和B(背景相似度通道)送入Softmax得到P(后通道)
2.3 GEM
下图中的DCF其实就是经过在线训练后最优情况下的滤波器,所以这比基于相关的方法得到的结果更加鲁棒,可借鉴atom。
整体步骤:
a.将骨干网络提取的特征通过1x1卷积降维
b.将降维后的特征使用相关滤波思想得到响应图
c.计算响应图中最大响应的位置到搜索区域中剩余像素的欧式距离,得到目标位置通道
2.4 Refinement pathway
从上面我们可以看出,GIM提供了很多细节信息但是判别性很差的特征表示,GEM提供了鲁棒但不准确的特征表示,此外,由于这些特征的分辨率很低,作者便提出了Refinement模块。
整体步骤:
a.将GIM和GEM的特征通过concatenate进行融合
b.使用3×3卷积固定通道数为64
c.通过上采样提高分辨率,并与3×3卷积后的骨干网络特征相加得到融合特征
d.重复c步骤,最后通过softmax得到mask
2.5 Bounding box fitting module
在有mask生成边界框的过程中,作者构造了一个精巧的拟合过程,
a.将分割概率图按阈值0.5生成二值mask
b.保留mask中的最大连通部分,并用最小二乘法来拟合椭圆的轮廓,椭圆的长短轴作为选装边界框的长和宽
c.以上步骤只考虑了让前景尽可能的进入bbox,而没有考虑bbox中的背景,因此通过coordinate descent来优化下列函数,从而得到准确的目标估计
其中
N
I
N
+
,
N
I
N
−
,
N
O
U
T
+
N_{IN}^+,N_{IN}^-,N_{OUT}^+
NIN+,NIN−,NOUT+分别表示bbox内部的前景数量,bbox内部的背景数量和bbox外部的前景数量
3.实验结果
3.1 VOT2016
3.2 VOT2018
3.3 GOT-10k
3.4 TrackingNet
3.5 消融实验
椭圆fitting起关键作用: 如果这套算法去掉最后的椭圆fitting的部分,仅仅采用旋转最小bounding box的形式,结果将下降4.5个百分点(0.489 vs 0.444),如果在分割结果上直接采用垂直bounding box,结果与采用旋转椭圆fitting框相比下降9.1个百分点(0.489 vs 0.398),可想而知,旋转椭圆fitting矩形框的效果是多么好了。
ATOM在线跟踪鲁棒性尤为关键:如果去掉ATOM定位分支,算法的Robustness将变得极差,EAO结果下降20几个百分点,可想而知,定位在整套算法中的地位。