Pose Guided Deep Model for Pedestrian Attribute Recognition in Surveillance Scenarios

Pose Guided Deep Model for Pedestrian Attribute Recognition in Surveillance Scenarios

摘要

  很多方法使用端到端的网络解决行人数属性识别问题，然而行人身体的结构信息没有得到很好的利用。因此，提出的PGDM方法包含了以下三点：1)从预训练的姿态估计模型中提取姿态知识的粗位姿估计;2)仅在图像层面监督下自适应定位信息图像区域的身体部位;3)结合基于部位特征的多特征融合进行属性识别。在推理阶段，文章将基于部分的特征和全局特征拼接在一起作为最后的预测。

网络结构

  网络包括了Main Net和PGDM这两个部分。其中Main Net使用了caffe net的结构。
Main Net的损失函数为：

PGDM模块

  致力于探索行人身体结构的知识来协助行人属性识别，该模块包含有三个部分，包括姿态粗糙估计、自适应区域定位和基于区域的特征聚合。

姿态粗糙估计

  行人属性识别的数据集是没有姿态注释的，为了将行人姿态估计知识迁移过来，文章在测试阶段将CPM网络嵌入到行人属性识别网络中。首先，用CPM网络在MPII和LSP数据集上经过了6个阶段的训练来生成14个行人姿态关键点和置信分数。其次将生成的姿态估计点作为粗糙的真值，训练一个回归网络来回归行人姿态。注意：姿态回归网络和区域回归网络的参数是共享的。采用带有姿态先验概率的smooth-L1损失，损失函数如下：

  其中
  为第i个样本中第k个关键点的归一化姿态点，

  是从原始CPM模型中第i个样本生成的第k个关键点置信分数。

自适应区域定位

姿态信息只是一系列的点，因此需要将点转化为具有丰富信息的区域，因此文章采用STN网络为每一个姿态点回归一个boundingbox进行区域提取。

基于区域的特征聚合

  为了整合不同区域的高维度特征，为每个关键点相关的区域后连接独立的卷积神经网络，卷积神经网络的最后使用了256维的全连接层学习每个区域的特征，因此最后会得到3584（256*14）维的特征表示。基于学习到的聚合了多个区域的特征经过有L(L个属性)个输出的全连接层得到最后的输出。
  最终优化的目标函数为：

  上面的三个参数分别为main net，PGDM和姿态回归网络的损失权重。