TBSI模型论文解读及代码分析

前往我的主页以获得更好的阅读体验

简介

论文来源: Bridging Search Region Interaction With Template for RGB-T Tracking

现有的搜索算法通常会直接连接 RGB 和 T 模态搜索区域, 该方法存在大量冗余背景噪声. 而另一些方法从搜索帧中采样候选框, 对孤立的 RGB 框和 T 框进行各种融合, 这限制了局部区域的跨模态交互. 本文将提出模板桥接搜索区域交互(TBSI)模块, 以模板为媒介, 通过收集和分发目标相关对象和环境来桥接 RGB 和 T 搜索区域之间的跨模态交互.

方法

网络主体结构如上图所示, 其中主干网络为 ViT, 特征经过 Transformer 块的交互与增强后, 进入 TBSI 模块, 该操作重复两次, 最终输出结果被拼接后由预测头进行预测.

输入图像被切割为 $P\times P$ 的大小, 进入具有线性投影的块嵌入层. 以 ${\mathbf{X}}_{r}or{\mathbf{X}}_t$ 表示搜索区域, ${\mathbf{Z}}_{r}or{\mathbf{Z}}_t$ 表示模板区域. 因而注意力计算可以表示为:

$$\begin{array}{ll}\mathbf{A}& =Softmax\left(\frac{\mathbf{Q}{\mathbf{K}}^{\top }}{\sqrt{C}}\right)\\ & \\ & =Softmax\left(\frac{[{\mathbf{X}}_q;{\mathbf{Z}}_q][{\mathbf{X}}_k;{\mathbf{Z}}_k{]}^{\top }}{\sqrt{C}}\right)\\ & \\ & =Softmax\left(\frac{[{\mathbf{X}}_q{\mathbf{X}}_k^{\top },{\mathbf{X}}_q{\mathbf{Z}}_k^{\top };{\mathbf{Z}}_q{\mathbf{X}}_k^{\top },{\mathbf{Z}}_q{\mathbf{Z}}_k^{\top }]}{\sqrt{C}}\right)\end{array}$$

由此我们可以看出, 搜索区域与模板相互聚合彼此的特征, 通过连续 Transformer 块提取搜索区域与模板间的特征. Transformer 块的参数在 RGB 与 T 令牌之间共享, 以避免冗余.

上图展示了 TBSI 模块的详细结构, 图中仅包含 $T\to Medium\to RGB$ 的过程, 反向过程亦是同理. 从图中可以看出, 两个模板首先融合成 ${\mathbf{Z}}_m=[{\mathbf{Z}}_r;{\mathbf{Z}}_t]{\mathbf{W}}_m$, 然后进行交叉注意力计算:

$${\mathbf{D}}_t=Softmax\left(\frac{({\mathbf{Z}}_m{\mathbf{W}}_q^1)({\mathbf{X}}_t{\mathbf{W}}_k^1{)}^{\top }}{\sqrt{C}}\right)({\mathbf{X}}_t{\mathbf{W}}_v^1)$$

于是我们就能得到细化后的融合特征:

$$\begin{gathered} {\mathbf{Z}}_m^{\prime }=LN({\mathbf{Z}}_m+{\mathbf{D}}_t) \\ {\tilde{\mathbf{Z}}}_m=LN({\mathbf{Z}}_m^{\prime }+MLP({\mathbf{Z}}_m^{\prime })) \end{gathered}$$

然后计算可见光搜索区域与细化融合特征的交叉注意力:

$${\mathbf{D}}_{mt}=Softmax\left(\frac{({\mathbf{X}}_r{\mathbf{W}}_q^2)({\tilde{\mathbf{Z}}}_m{\mathbf{W}}_k^2{)}^{\top }}{\sqrt{C}}\right)({\tilde{\mathbf{Z}}}_m{\mathbf{W}}_v^2)$$

与细化融合特征的计算方式类似, 下面是细化搜索区域的特征:

$$\begin{gathered} {\mathbf{X}}_r^{\prime }=LN({\mathbf{X}}_r+{\mathbf{D}}_{mt}) \\ {\tilde{\mathbf{X}}}_{mtr}=LN({\mathbf{X}}_r^{\prime }+MLP({\mathbf{X}}_r^{\prime })) \end{gathered}$$

目前为止只经过一次 $Transformer\to TBSI$, 接下来还会再经历一次, 而第一次, 我们用 T 模态特征细化 RGB 模态, 那么在第二次, RGB 模态特征又会被用于细化 T 模态特征.

作者与各种在线或离线模型进行对比后, 发现自己设计的网络精度更高, 并且在各种挑战属性上也取得了不错的结果.

代码

代码解读