AAAI2020|Appearance and Motion Enhancement for Video-based Person Re-identification

Abstract

本文提出一个Appearance and Motion Enhancement Model（AMEM），通过两个方面的信息加强对行人特征的提取：（1）Appearance Enhancement Module（AEM）利用伪标签进行有监督学习挖掘行人属性特征（2）Motion Enhancement Module（MEM）通过预测未来帧来获取具有身份判别性的行走模式。

1 Introduction

基于单一图像 vs. 基于多帧图像

• 单一图像对姿势变化和遮挡较为敏感，而图像序列提供更多图像可解决该问题
• 单一图像无法获得行人的运动模式

MEM：设计一个能同时获取时序线索（temporal cues）和行走模型（specialty of walking patterns）的模型。
AEM：考虑到目前没有已经标注的视频数据集，因此利用现存的带属性标注的基于单一图像的数据集来辅助学习视频数据集的属性。

2 Approach

Some notations:
$S=${$I_1,I_2,...,I_T$} 输入T帧图像序列
$y$ 身份标签
BF $=\varphi (S,{\theta }_B)$ 用于提取输入图像的backbone网络，${\theta }_B$是网络参数

Appearance Enhancement Module（AEM）

Pseudo Attribute Labels Generation
在属性数据集PETA上先训练一个可以为视频数据集预测属性标签的ResNet-50模型：

• 采用Conv5_x层作为属性识别的最终特征表示${\hat{f}}_A（2048\times 16\times 8）$
• 由于PETA中事先定义好的属性数目较大（N=105），直接用于训练分类器效果不好。因此可以根据不同位置手动将其分成M组，每组包含一个属性特征$a_m$和一些属性。
• $a_m（256维）$是由${\hat{f}}_A$经过一个全局平均池化层和一个全连接层之后得到的，用于预测同一组中的属性
• 假定每组有$N_m$个属性，通过$a_m$预测的每个属性出现的概率为${\hat{p}}_i$，那么第m组的属性损失通过二值交叉熵计算如下：
  其中$l_i^m$为第m组的第i个属性的二值标签。
• 所有组的总损失：
  
  将训练好的模型(ARM)用于视频数据集的属性预测：
• 将一个图像序列中的每帧图像输给ARM得到它们拥有不同属性的概率
• 对图像序列中每帧图像的预测概率进行平均池化，当平均概率大于0.5时判定该序列具备该属性（${\hat{l}}_i=1$），否则不具备（${\hat{l}}_i=0$）。

Appearance Enhancement
利用上述标注的属性标签对视频数据集进行有监督学习，训练AEM。

• 得到 BF 后，将其输入给appearance branch得到一个属性特征map$f_A（C\times H\times W)$
• 同ARM可以得到M个属性特征，和对N种属性的预测
• 属性预测损失如下：

Motion Enhancement Module(MEM)

核心思想：学习一个生成模型用于预测未来帧的运动特征，若能预测成功则说明该模型能捕获具备身份判别性的运动模式。
Texture AutoEncoder
TAE结构如下：

• 以ResNet-18作为编码器，编码器的输入是image，输出为texture feature map $f_{tex}$。
• 解码器包含四个反卷积blocks，每个block包含一个反卷积层和一个batch normalization层。除此之外最后一个block还增加一个ReLU层，最终再加上一个Sigmoid层作为输出。
• 在Marke-1501上训练TAE，为了避免重构中出现的模糊问题，增加一个判别器$D_{TAE}$来判断生成图片的真假。
• TAE训练的总损失：
  其中$\hat{I}$是TAE的输入图像，$\tilde{I}$是重构得到的图像；$G,D,f$是解码器，判别器和$f_{tex}$的简写，$p_{\hat{I}}$和$p_f$是image和texture feature space的样本分布。

Motion Enhancement through Prediction
用训练好的TAE辅助提取运动特征：

• 随机选取序列中的一帧$I^t(0<t<T-c)$，来预测下一帧$I^{t+1}$，$I^{t+1}$可用$f_{tex}^{t+1}$通过TAE反解码得到。
• $f_{tex}^{t+1}$包含两部分：当前帧的feature map $f_{tex}^t$和两个连续帧之间的运动特征$f_M$。
• $f_{tex}^t$由TAE的编码器获得，$f_M$通过backbone网络$\varphi (S,{\theta }_B)$后经过一个motion branch提取。motion branch和appearance branch结构相同，参数不同。
• 最后将$f_{tex}^t$和$f^M$连接后，输入到一个texture embedding module（包括一个$3\times 3$的卷积层和一个$1\times 1$的卷积层，除每个卷积层后加一个BN层外，第一个卷积层后加一个ReLU层）得到$f_{tex}^{t+1}$。

为了获取更好的运动特征，重复上述过程预测c次知直到${\tilde{I}}^{t+c}$，同理训练过程中选用MSE损失和对抗损失。MSE损失用于评估预测的${\tilde{f}}_{tex}^{t+1}$和真实的$f_{tex}^{t+1}$之间的相似度。

训练过程中TAE编码器参数固定，fine-tune解码器参数。

Optimization

将$f_A$,$f_M$ ,$f_B$连接构成最终的特征map F ，通过一个全局平均池化层和全连接层后得到整个序列的最终特征表示$f_s$。
总损失: (L个样本，K个三元组）

Experiments

Ablation Study

Baseline comparison
(1) baseline分别与AEM、MEM结合都能提升准确率，MEM的提升比AEM大
(2) 采用本文网络整体结构，但仅仅用$f_B$进行re-id效果也比单纯baseline好，说明AEM、MEM给backbone也带来了提升

Scalability
选取了另外三种backbone网络，实验表明AEM、MEM对其他backbone网络也有提升。
Model Size
比较其他不同设计，本文所提算法在保证appearance和motion均有所提升的前提下，算是一个light-weight model。
The Number of Frames Prediction
比较了c=1,2,3,4的结果，从1-3效果逐步提升，到c=4时突然下降（可能由于梯度消失），因此选择c=3。
Different Components in the Loss Function

** Comparison with the State-of-the-arts**