行人属性“Generative Adversarial Models for People Attribute Recognition in Surveillance”

对于监控场景下的行人，图片一般不清晰或被其他行人物体遮挡，可以进行图像清晰化、去遮挡操作，提升属性识别准确率。

相关工作
整个人体进行属性的识别：ACN，DeepMAR；part-based models，R*CNN；MLCNN。

方法描述
1. 几种方法对比
baseline方法：基于ResNet的行人属性分类。
两个生成对抗模型：重建被遮挡的人体部位，提高图像分辨率。
2. 网络描述
属性预测网络，结合行人部件可以提升识别率，将输入图像分解成几块：肩部以上，上半身，下半身及全身。四块输入到ResNet50网络，获得四个特征图。对ResNet50网络进行了改造，使用全局平均池化替代最后一个$7\times 7$平均池化。获得特征图后，分成两个属性打分分支。第一个分支使用整体特征图，获得整个人体的预测得分。第二个特征图计算每个块的预测得分，并使用max操作选择对应每个属性最有意义的part。最终的属性预测得分为：

网络结构如下图所示：

网络使用加权二值交叉熵损失训练：

3. 重建网络
移除人体遮挡，并使用人体部件替换。尽管替换的人体部件与可能与这个人的属性不相干，移除遮挡后可以移除噪声（解释有点牵强）。
给定遮挡图像$I^O$，训练生成函数$G^R$估计重建图像$I^R$，在训练时，使用另外一张图像随机遮挡当前图像生成训练样本。生成网络训练为前向CNN $G^R_{\theta_g}$。解决如下问题：

此外，定义一个带参$\theta_d$的辨别网络$D_{\theta_d}^R$与$G^R_{\theta_g}$一起训练，解决对抗问题：

生成网络结构如下图所示：

辨别网络与生成网络的解码部分类似，滤波器的个数不同。
生成网络的损失函数为：$Loss_R=Loss_{SSE}+\lambda Loss_{gen}$
$Loss_{SSE}$是重建损失，基于像素级相似度的均方误差，$Loss_{gen}$是对抗损失，鼓励网络生成更好的结果，如下定义：

4. 超分辨网络
构建过程与重建网络类似，训练样本使用下采样生成。生成的训练样本为：

实验结果
baseline方法与其他方法的对比

重建网络及超分辨网络的性能：