【视频目标跟踪】Motion-Attentive Transition for Zero-Shot Video Object Segmentation 一览

本文创新点\贡献

本文IDEA来源

人类视觉，对动态物体比对静态物体更敏感，从生物学迁移

方法

方法概述

结构分三大块，编码器，桥型网络，解码器，方法是双流

核心是双流深度交错编码器，不仅继承了多模态特征的优势，还能转移中间motion注意力特征来促进外观学习

Interleaved Encoder Network

编码：
变换由多个MAT(Motion Attentive Transition )块组成，每个块都把输入图片和光流映射在卷积阶段的特征作为输入，在block的里边建立的不对称注意力机制，先推理基于光流的RoI，然后变换推理来为外观特性提供更好的选择性

双流结构，联合编码物体外观和移动

包含MAT，提供一个运动到外观的传递，使用ResNet-101的前五个卷积块作为每个流的backbone
给定RGB帧$I_a$和他的光流映射$I_m$，编码器提取中间特征$V_{a,i}\in R^{W\times H\times C}$还有$V_{m,i}\in R^{W\times H\times C}$，$i\in 2,3,4,5$是残差块的序号(就是)，然后MAT块的操作：
$$U_{a,i},U_{m,i}=F_{MAT}(V_{a,i},V_{m,i})$$
其中 U . , i ∈ R W × H × C U_{.,i}\in R^{W\times H \times C} U.,i<