Beyond Part Models: Person Retrieval with Refined Part Pooling (ECCV2018)

Beyond Part Models: Person Retrieval with Refined Part Pooling(and A Strong Convolutional Baseline)

文章链接

因为之前自己的一篇paper用到了局部信息，当时划分就简单地划分上下两个部分，现在想参考PCB做baseline，于是想记录并分享一下这篇文章的思路。

文章主要思路

首先现有的图像划分主要有两种：硬划分（图像直接划分）、软划分（attention机制）。文章主要是将硬划分（PCB)以及软划分(RPP)相结合，达到一个较好的划分效果，可以作为一种基于局部信息的新baseline。

先来感受下划分效果：

硬划分——PCB部分

上图为文章提出的硬划分网络结构——PCB，以ResNet网络为例来做一个简单说明：

①首先保持ResNet网络结构GAP(global average pooling)前的部分不变，然后去掉GAP以及GAP之后的网络层，作为backbone。

②此时一张图像384×128×3的图像经过backbone，得到一个24×8×$f$张量$T$，其中$f$为沿通道方向上的列向量（如图所示）

③将$T$从上往下硬划分为p个水平条，对每个水平条内的$f$做AP(avg pooling)，得到 g

④利用卷积层降维得到 h（256维）

⑤将每个$h$输入到分类器中利用softmax进行优化（预测ID）

训练阶段：PCB利用交叉熵来最小化p个预测的误差来进行优化训练

硬划分缺陷

尽管PCB已经达到了一定的优秀划分效果，但仍有待提高。于是文章做了一个假设：
$T$中每个分区内的列向量$f$应该是相类似的(一致性)不同分区之间的f应该相差较大。
基于上述假设，利用余弦距离计算每个分区中的$f$与$g_i$之间的相似度，$f$与哪个$g_i$最接近，则属于哪个分区。于是得到了如下划分结果。

可以发现：1、水平分区大部$f$都划分正确 2、仍有一些离群$f$不在水平划分区域中

所以文章提出了软划分结构RPP

软划分——RPP部分

利用$f$与$g_i$之间的相似度来重新分配$f$，具体实现如下：
①基于part classifier：
首先计算$f$属于$P_i$区域的概率：

其中W为part classifier的权重矩阵

②sampling operation
然后根据得到的$f$属于$P_i$区域的概率$\mathrm{P}\left(\mathrm{P}{}_{\mathrm{i}}|\mathrm{f}\right)$作为$P_i$的采样权重进行重新的区域软划分，如下式所示：

其中$P_i$表示水平划分第$i$个区域。

将上述①②两个步骤替换掉PCB结构中的avg pooling就得到下面PCB+RPP结构：

训练策略

讲完PCB硬划分以及RPP软划分，下面来讲一下文章是如何将这两块进行联合训练的，如下算法所示：

①首先训练一个标准的均匀分割的PCB模型

②再将avg pooling去掉加part classifier 以及 sampling operation，即变为PCB+RPP结构

③将PCB部分的参数固定，只训练part classifier部分，设置损失函数使分类器达到原先均匀划分的分类效果

④将所有层的参数都设置成可更新，进行模型微调

完

（个人理解，仅供参考）