SiamNet 系列方法总结

这篇文章中总结了SiamFC之后到2020年已经发表在CVPR，ECCV，ICCV，AAAI上的SiamNet相关文章，没有附带论文链接，有兴趣的同学可以去看我们持续更新的SOT/MOT方法更新github:
https://github.com/JudasDie/Comparison
其中包含文章的链接及论文打包下载地址。

回归正题：其实所有的Siamnet的改进最终都是围绕着两个目的，一个是获得更加精确的相应，确定目标位置（如改进backbone，改进corelation方式等），一个是获得更加精确的下一帧物体尺寸信息（如引入RPN，Mask，Achor free方法等），而这都是当前方法去获得下一帧更加精确跟踪的基础，构建帧与帧的时序关联。

1、SiamFC

开篇之作，思路简单，通过backbone（AlexNet）来获得模板和检索区域的特征，并将模板特征做为卷积核在检索区域上执行卷积操作，获得heatmap，显示相应高的地方。关于框回归用了多尺度来提高鲁棒性。

2、DSiam（ICCV2017）

作者提出一个Dynamic Siamese Network，可以使用一个transformation learning model来在线学习目标的外观变化并且压制背景信息。本文的另一个创新点在于作者提出了一个自适应聚合各个层的特征的方法（elementwise multi-layer fusion），该方法改进的目的是获得更好的目标定位。

3、SiamRPN（CVPR18）

针对于SiamFC中只用了多尺度没有框回归方法。所以引入了RPN获得更高精度的框回归。

4、SASiam（CVPR18）

做了两个分支，两个分支是分开训练的AlexNet。通过两个分支相结合，又加了一个channel的attention，就得到了好结果，框回归沿用了SiamFC的多尺度。

5、StruckSiam（ECCV2018)

与SiamFC相比，添加了三个模块。1）加入了Local Pattern Detection（局部模式检测）来提高对局部区域的感知程度。（用两种尺度的卷积来做并不是很懂）2）加入了Context Modeling将上一步的特征去噪，平滑，计算每个局部模式之间的关系。3）Integration Module有点像全局池化操作，作者认为由于不同的模式代表search region中不同的区域，如果是像SiamFC那样直接对比，会使得search region对变形很敏感，所以文章就把模板输出整合成向量，每个通道都代表一个模式。

6、SiamTri（ECCV2018）

提出一种新的triple loss用于SiamNet的学习。

7、DaSiamRPN（ECCV2018）

加入大量检测数据来提高模型的性能，解决相应分数不可靠问题，及heatmap上的定位问题。

8、UpdateNet（ICCV2019）

UpdataNet的思想是通过对模板进行更新，考虑了第一帧模板的信息，上一帧模板的信息以及上一帧用于匹配的模板信息，通过一系列卷积激活，来获得当前帧用于匹配的模板。这种方法不属于上述的两种改进，但是想去考虑更加鲁棒性的匹配模板。

9、SiamRPN++（CVPR2019）

这篇工作主要围绕的改进点是原有的SiamNet只能用AlexNet作为backbone，如果用更深的网络如ResNet会造成性能的下降。为此这篇文章研究了如何将ResNet50应用在SiamNet中，改进点如图所示。

10、SiamMask（CVPR2019）

SiamMask是在SiamRPN的两分支基础上提出了mask分支，为了获得更好框回归性能。需要注意的是，Mask的获得是基于score分支的结果的，及通过score的分数获得一个向量，在提及的refine path将向量反向扩展成mask。

11、SiamDW(CVPR2019)

SiamDW的工作是分析了原来深度网络不能直接应用的问题，然后对其做出了改进对backbone中的block做了重新设计，使其更加适合于SOT这个任务。

12、SiamFC++（AAAI2020）

SiamFC++是一个achor free的方法，方法的主要改进是框的回归方式，觉得RPN的anchor-based的方法有歧义性，容易引入很多歧义信息，所以通过四层特征层来表征四个方向的偏移量。

13、SiamAttn（CVPR2020）

这篇工作的motivation是通过自注意力机制对特征进行加强，并想通过“互注意力机制”提高检索区域和模板之间的关联性。自注意力很好理解，互注意力机制是通过另一个自注意力分支，将特征做了调制之后加入了另一个分支的特征之中。我个人觉得这个并没有去考虑到相关联性。

14、SiamBAN（CVPR2020）

这个文章的思路也是引入了anchor free的思想。通过学习前景和背景两个类别图来做定位（语义分割中的做法，可能作者觉得更加鲁棒吧），框回归学习了偏移量。

15、SiamR-NN（CVPR2020）

这个文章的思路是通过引入两阶段方法，SiamRCNN实现了对对象大小和长宽比变化的强大鲁棒性，这在使用流行的SiamNet中是很难实现的。（这个应该很影响实时性）。

16、Ocean（ECCV2020）

Ocean也是一篇文章，提出通过anchor free方法来提升的操作。和SiamFC++有些像。但是这里有个online update Network取得了很大的性能提升，这也是有道理的，离线训练的模型要适应所有情况其实很难基本不大可能，长时肯定会跟丢。