有关TSD论文笔记

论文地址：https://arxiv.org/abs/2003.07540
晓飞的算法工程笔记

前景

.
经典RoI-based定位算法使用sibling head(2-fc)对proposal同时进行分类和回归
进行分类任务和定位任务的目标检测学习的主要障碍：共用的特征提取器以及相同的proposal
限制定位算法的根本问题在于分类分支和定位分支在空间维度上存在偏差，不是通过设计特征提取器或更好的结构能解决的。
因此，论文提出TSD方法，从空间维度和特征提取两方面同时对分类任务和定位任务进行拆解，并且结合精心设计的**渐进约束(PC)**帮助学习.

内容

在训练时，TSD和原来的结构共存
RPN：一个黑盒
输入的是一张图片（更准确来说是feature map），输出输出一系列的矩形object proposals。
P:主干输出的预测框
Dr，Dc：TSD输出最终的定位结果和最终的分类结果
D：原sibling head输出的结果
B:GT
y：类别
C（），R（）和为分别从特征进行分类和定位的预测函数。由于分类和定位所用到的特征不太一样，一些研究将特征提取拆分为fr和fc（这样拆分能有一定的提升，但任务混合在空间上的冲突仍然存在）
上面经典的Faster RCNN基于P同时最小化预测框的分类误差和损失误差公式，H1、H2函数是特征提取。
下面则是TSD的做法，直接在空间上对分类和定位进行分解。从原预测框P中预测出分类框（Pc）以及定位框（Pr）

由于分解了分类和定位的预测区域，TSD能够学习task-aware的特征表达。

对于定位，将进行整体移动，新点的值使用双线性插值计算，使得∆R 可微。

对于分类，将规则P的变形为不规则的Pc

在训练阶段，使用公式1对TSD和sibling head进行联合训练，此外还设计了渐进约束(progressive constraint, PC)来辅助TSD的学习，如图2©



  在训练阶段，使用公式1对TSD和sibling head进行联合训练，此外还设计了渐进约束(progressive constraint, PC)来辅助TSD的学习，如图2(c）

实验

据实验，
TSD在不同IoU标准下性能不同。随着IoU门槛的提高，TSD带来的改善也在增加。
在不同尺度下的表现也不一样。reports the performance and TSD shows successes in objects with variant scales, especially for medium and large objects（对于中型和大型的图像表现更好）
**TSD学到了什么？**由于任务感知空间解纠缠（TSD）和渐进约束（PC），无论是对不同的backbones还是不同的datasets，都可以很容易地实现稳定的改进。

TSD与silbling head相比。TSD它可以检测出更多的误报，并得出更精确的框边界。对于ˆPr，它倾向于转化为不易回归的边界。对于ˆPc，它倾向于集中于ocal appearance 和 object context information，就像 sibling head的变形RoI pooling [5]。注意，sibling head中的复杂任务可以有效地从空间维度中分离出来。

总结

论文提出了一种简单的的TSD算子，通过直接在空间上分解，来解决混合任务带来的内在冲突，从主干的proposal中学习不同的task-aware proposal，同时提出PC来提升性能。