对于监控场景下的行人,图片一般不清晰或被其他行人物体遮挡,可以进行图像清晰化、去遮挡操作,提升属性识别准确率。
相关工作
整个人体进行属性的识别:ACN,DeepMAR;part-based models,R*CNN;MLCNN。
方法描述
1. 几种方法对比
baseline方法:基于ResNet的行人属性分类。
两个生成对抗模型:重建被遮挡的人体部位,提高图像分辨率。
2. 网络描述
属性预测网络,结合行人部件可以提升识别率,将输入图像分解成几块:肩部以上,上半身,下半身及全身。四块输入到ResNet50网络,获得四个特征图。对ResNet50网络进行了改造,使用全局平均池化替代最后一个
7×7
平均池化。获得特征图后,分成两个属性打分分支。第一个分支使用整体特征图,获得整个人体的预测得分。第二个特征图计算每个块的预测得分,并使用max操作选择对应每个属性最有意义的part。最终的属性预测得分为:
网络结构如下图所示:
网络使用加权二值交叉熵损失训练:
3. 重建网络
移除人体遮挡,并使用人体部件替换。尽管替换的人体部件与可能与这个人的属性不相干,移除遮挡后可以移除噪声(解释有点牵强)。
给定遮挡图像
IO
,训练生成函数
GR
估计重建图像
IR
,在训练时,使用另外一张图像随机遮挡当前图像生成训练样本。生成网络训练为前向CNN
GRθg
。解决如下问题:
此外,定义一个带参
θd
的辨别网络
DRθd
与
GRθg
一起训练,解决对抗问题:
生成网络结构如下图所示:
辨别网络与生成网络的解码部分类似,滤波器的个数不同。
生成网络的损失函数为:
LossR=LossSSE+λLossgen
LossSSE
是重建损失,基于像素级相似度的均方误差,
Lossgen
是对抗损失,鼓励网络生成更好的结果,如下定义:
4. 超分辨网络
构建过程与重建网络类似,训练样本使用下采样生成。生成的训练样本为:
实验结果
baseline方法与其他方法的对比
重建网络及超分辨网络的性能: