论文笔记Pedestrian Attribute Recognition（PAR）: A Survey

Pedestrian Attribute Recognition（PAR）: A Survey

Abstract

本文目的：回顾一下最近的行人属性工作
1、研究背景？相关概念 and 挑战
2、现存的benchmark？
3、multi-task and multi-label learning
4、popular solutions for this task
5、some applications：考虑到这些行人属性之后，识别结果更好？
6、给出possible research directions

本文结构

主要包括：

2、introduction

2.1、 PAR概念

predict a group of attributes to describe the characteristic of this person from a pre-defined attribute list ；

**行人属性识别，从预定义的属性列表中预测一组属性来描述该人的特征;**下面是文中的一张图，比如，红框框中识别出来这个人的属性有：短发，纸袋子，黑裤子，白鞋子，男性，蓝色自行车等

2.2、why attribute？

传统的比如HOG、SIFT等可称为一些低水平的特征，而属性可以被认为是高水平信息，面对视角转换等变化时鲁棒性更强
Different from low-level features, such as HOG, LBP or deep features, attributes can be seen as high-level semantic information which is more robust to viewpoint changes and viewing condition diversity.
所以，比如在行人重识别，行人检测这些研究中，都会把属性考虑进去， to achieve better performance

2.3、challenging factors of PAR

（1） Multi-views
由于摄像机用过不同角度进行采样导致的视角问题；
（2） Occlusion
行人密集导致一些人体被遮挡；
（3） Unbalanced Data Distribution
没个行人都有一些不同的属性，所以个体属性个数的不一致会导致样本不平衡的问题；
（4） Low Resolution
由于好的摄像机成本比较大，现实场景中低分辨率的图片占大多数；
（5） Illumination
光照问题，不同时间段采集到的图片样本光照条件不相同，有时候白天图片里面的影子也可能会被识别成一个人；
（6） Blur
人移动的时候，摄像机拍摄到的人体可能是模糊的
所以，如何在这些情况下正确的识别出行人属性是一个很具挑战性的课题。

2.4、 本文打算解决的一些问题

（1） 传统PAR 算法 VS 深度学习PAR算法，不同点？

from different classification rules, such as part-based, group-based or end-to-end learning;

（2） PAR如何应用于其他的CV tasks？

（3） 如何更好的利用深度网络进行PAR？

（4） PAR未来的发展方向？

3、BENCHMARKS

benchmark包括数据集和评估标准两部分

3.1、总结了研究PAR近些年来常用到的数据集；

3.2、Evaluation Criteria

介绍了两种，目前第二种比较常用
a、mA（ mean acccuracy）：label-based evaluation criterions
但是上述评估标准没有考虑到属性之间的联系
b： example-based evaluation criterions
include four metrics：accuracy, precision, recall rate and F1 value, as defined below：

4、REGULAR PIPELINE FOR PARPAR

PAR既可以把它当做multi-task learning，也可以当做 multi-label learning.

4.1、多任务学习

在一个模型中评估所有的属性（更高效），并且将每一个属性的评估都当成一个task
（1）传统方式
step1：design a evaluation criterion；
step2：根据评估标准去优化模型的参数，获取更优的结果。
缺陷：achieve satisfying results on single task, however, it ignore the other tasks which may bring further improvements for the evaluation criterion

（2）now popular approach
考虑行人属性之间的联系，比如： the gender and cloth style， joint learning multi-tasks to mine the shared feature representation（联合学习多任务以挖掘其共享特征）
文章介绍的很粗糙，略

4.2、 多标签学习（多标签分类算法）

难点：输出空间指数复杂度

三种策略：

• 一阶策略：忽略和其它标签的相关性，比如把多标签分解成多个独立的二分类问题（简单高效）。
• 二阶策略：考虑标签之间的成对关联（the correlations between each label pair ），比如为相关标签和不相关标签排序。
• 高阶策略：考虑多个标签之间的关联，比如对每个标签考虑所有其它标签的影响（效果最优）（ the influence of each label on others）。
• two approaches for model construction：i.e. the problem transformation and algorithm adaptation.
  （1） Problem Transformation相关算法（上图最右边一列）
  a、二分类：
  直接将多标签转换为多个二分类问题，最后融合所有的二分类器；
  b、分类器链算法：
  转换为二分类链，Each binary classifier is depend on its previous one in the chain；
  c、校验标签排序算法：
  考虑成对标签之间的相关性，然后再排个序；
  d、random k-Labelsets algorithm：
  转换为多组（set）分类问题，在每一个set里面是一个多分类器，And the categories the multi-class classifiers need to learning is the subset of all labels。
  （2）算法优化
  比如多标签KNN，多标签决策树，多标签SVM

5、DEEP NEURAL NETWORKS

介绍一些已经或者将来可能用于行人属性识别的著名的网络结构
（1） LeNet
（2） AlexNet
（3） VGG
（4） GoogleNet
（5） Residual Network
（6） Dense Network
（7） Capsule Network
（8） Graph Convolutional Network
（9） ReNet
（10） Recurrent Neural Network, RNN
（11） Long Short-term Memory, LSTM

6、近年来用在PAR上的网络

7、应用

比如person re-identification、 pedestrian detection 、 person tracking、person retrieval、 human action recognition、 scene understanding
等

8、未来的研究方向

（1） More Accurate and Efficient Part Localization Algorithm：
mining local parts of human body

（2） Deep Generative Models for Data Augmentation：
It is also worthy to design new algorithms to generate pedestrian images according to given attributes to augment the training data.
（3） Further Explore the Visual Attention Mechanism：
how to accurately and efficiently locate the attention regions is still an open research problem.
eg：Design novel attention mechanism or borrow from other research domains, such as NLP， for PAR；
（4） New Designed Loss Functions；
Researchers also design new loss functions for the PAR，such as WPAL , AWMT；可以研究研究新的损失计算；
（5） Explore More Advanced Network Architecture；
专门针对PAR的网络eg：capsule network ，External Memory Network ，However, there are still no attempts to use such networks for PAR.（却还没有在PAR上实现）
设计专门针对PAR的网络；
（6） Prior Knowledge guided Learning：
挖掘先验知识，比如不同的季节会穿不同的衣服；how to use these information to explore the relations between person attributes or help the machine learning model to further understand the attributes is still an unstudied；
problems
（7） Multi-modal Pedestrian Attribute Recognition：
（8） Video based Pedestrian Attribute Recognition：
given the video based PAR, we can jointly utilize the spatial and temporal information.
（9） Joint Learning of Attribute and Other Tasks：
把属性识别和其他的诸如行人检测、行人重识别结合起来

9、Conclusion

对PAR整个的介绍：传统方法，深度学习方法，数据集，现有的网络，实现的代码，未来可能的研究方向。