动机:
作者总结了常见的Part-base的re-id网络的常见问题,即使用多part虽然会增加精度,但是却忽略了part的之间的联系。所以Non-local是一个可以整体解决多part的办法。
本文整体思路大概如下:
- 基于BFE的架构
- 加入DropBlock模块,这样有利于对于Non-local的学习
- 改进了Non-local 模块,改进一阶为二阶
创新:
作者对于本文最大的创新点为Second-order Non-local Attention Networks以下简称SONA,看了他对这个的介绍基本是在介绍Non-local Attention Networks,这都是之前self-attention的东西,所以他到底创新了啥。来看看和原版网络结构的对比:
图1为SONA的结构,图2为Non-local解构,其改进为将原版的相关矩阵(即原特征图flatten后转置相乘)变为协方差矩阵,这样完成从一阶到二阶的升级,原因是二阶特征优于一阶。
框架
- 框架结构:基本参照BFE的结构