1.MDnet:learning multi-domain convolution neural networks for visual tracking
MDnet是vot2015的冠军paper,由韩国Postech的Bohyung Han发表,测试了代码,在多个benchMark上的测试结果都比较好,但是速度比较慢,1fps,下面就开始介绍这篇paper的整体思路。他主要是用检测的思想来做跟踪,并针对跟踪和检测的区别提出offline训练的fc为多分支,online阶段针对具体的跟踪对象将fc替换为一个分支,并用到了BBox回归。
- 文章特点
- 采用离线pre-train和online update.shared layer 为offline train, unshared layer的parameter为online train.
- 在offline阶段,fc6层有多个branches,每一个branch对应一种video/sequence[paper 中取名叫 domain-specific layers],即在进行train iteration时,每一次iteration,只有一个branch的fc6响应,所以需要每一次迭代的data-batch[文中叫mini-batch]要与相应的fc6_K相对应[原文为:Each domain in MDNet is trained separately and iteratively while the shared layers are updated in every iteration]。
- online阶段,将fc6_1~fc6_K换为一个fc6,然后固定conv的参数不变,训练fc6的权重,病fine-tune fc4~fc5的权重。
- online阶段,训练数据利用到hard negative的思想,将negative samples 排序,选取其中score大的样本(更接近正样本的negative samples).
- details
- shared layer的训练流程[offline train]如下图:
红色部分为domain-specific layers,offline train 时,选取positive&negative的规则见paper的4.4节[也是根据IoU来选]。network并不深,文章分析了采用这种VGG-M network的原因:deep为高级的语义特征,浅层为具有区分的特征。
- 对于mini-batch迭代时与fc6对应问题:每次iteration只利用一个sequ