Mixed High-Order Attention Network for Person Re-Identification

动机：
作者认为目前attention的操作都太过于粗糙，工作主要集中在粗糙的或一阶的注意力设计上，例如 spatial attention 和 channel attention ，需要高阶的操作以获取更多local之间的关系。

贡献：
1.提出了高阶注意分配(HOA)模块来捕获和利用高阶注意分配。
2.将ReID重新考虑为零样本学习任务，并提出了混合高阶注意力网络（MHN），以有效利用多个HOA模块，从而通过明确抑制“深度模型的偏向学习行为”来增强注意力的丰富性。 并引入了对手学习约束条件，以进一步防止秩序崩溃的问题。

作者对三个机制的对比。

框架：
1.提出的HOA模块

在第N个order采用了N个1×1的卷积核，之后得到的N个等尺寸的feature再相互乘，得到不同阶的mask。

在得到不同阶的feature后，作者又设计了一个对抗损失adversary coefficient：
1.特征由FC层输出后，期望各个feature之间的差异性缩小
2.Mixed High-Order Attention Network期望不同阶的attention模块可以学习到更有区分性的的特征，即不同阶学到的特征不同。

2.提出的MHN的框架

R=1，R=2，R=3，代表图中嵌入了1、2、3阶注意力模型。作者称这种结构为混合高阶注意力网络Mixed High-Order Attention Network(MHN)。

值得注意的是，这种网络结构是与模型解偶的，所以该模块可与任何行人重识别网络结合。
该模型框架为resnet50 使用PCB框架，有单一的分支，加入了加入Mixed High-Order Attention Network，使用了CE loss+adversary coefficient损失函数。
实验结果：
在Market-1501 , DukeMTMC-ReID and CUHK03-NP数据集上进行实验



注意力阶数对最终结果的影响，由下表可知，阶数越高，最终的结果越好。

该注意力机制也可以应用于其他任务，代码链接https://github.com/chenbinghui1/MHN