人体属性检测与深度实战

深度学习计算机视觉从入门到精通——人体属性检测与深度实战

说明：本文来自数据堂人工智能实验室（AI Lab ）深度学习计算机视觉从入门到精通第六讲人体属性检测与深度实战。
主讲人：丁勇

一、人体属性检测介绍
1.1人体属性检测概述
总体来讲人体属性检测在机器视觉方面可以概括为：给定人体框，通过分析人体属性特征与图像低层特征的映射关系，检验或识别出人体框中的视觉语义特征。

1.2人体属性检测处理流程

1.3人体属性检测技术应用——行业应用
主要应用场景：零售、安防、边检、医疗、教育、金融
1.安防监控
识别人体的性别年龄、衣着外观等特征，辅助定位追踪特定人员；监测预警各类危险、违规行为（如公共场所跑跳、抽烟），减少安全隐患
2.智能零售
商场、门店等线下零售场景，识别入店及路过客群的属性信息，收集消费者画像，辅助精准营销、个性化推荐、门店选址、流行趋势分析等应用
3.线下广告投放
楼宇、户外等广告屏智能化升级，采集人体信息，分析人群属性，定向投放广告物料，提升用户体验和商业效率
……

二、人体属性检测算法研究现状
2.1人体属性检测数据集——开源数据集
PETA Dataset
共19000张行人样本，包含61个二分类属性和4个多分类属性。

PA-100K Dataset（基于现实监控场景抓取）
共10万个行人样本，包含26个属性。

RAP Dataset（目前较权威的行人属性识别数据集）
共41585张行人样本，包含69个二分类属性和3个多分类属性

WIDER Attribute 是一个大型的人类属性数据集。它包含了30个场景类别的13789张图片。

2.1人体属性检测数据集——数据堂自有数据集
更多数据：https://www.datatang.com/dataset/all/1

2.2传统人体识别方法——多任务学习方法
step1：设计一个评价标准；
step2：根据评估标准去优化模型的参数，获取更优的结果。
缺陷：在单个任务上取得了令人满意的结果，但忽略了其他可能会给评价标准带来进一步改进的任务

2.3基于深度学习的人体检测算法——人体属性检测

2.3基于深度学习的人体检测算法——人体属性检测分类

2.3基于深度学习的人体检测算法——（HydraPlus-Net）

HP-net由两部分组成，一部分是主网络(M-net)，即一个简单的CNN架构，另一部分是适用于不同的语义特征层次的MDA模块(多个分支层次的多方位注意模块)，输出由全局平均池(GAP)和全连接层连接和融合。最后的输出可以生成为属性识别的属性得分（也就是概率），也可以生成为Re-ID的特征向量。
论文：《HydraPlus-Net: Attentive Deep Features for Pedestrian Analysis》ICCV-2017

论文：《HydraPlus-Net: Attentive Deep Features for Pedestrian Analysis》ICCV-2017

2.3基于深度学习的人体检测算法——人体属性检测（DeepMAR）

ConvNet卷积神经网络是个基于DeepSAR和DeepMAR共享的网络结构。它包括五个卷积层和三个完整的连接层。每层都应用了ReLU神经元。在最先两个的ReLu层厚加入最大池化层和局部归一化层。第5个ReLu层之后还有一个最大池化层。

卷积层C1~C5
该层的处理流程是： 卷积–>ReLU–>池化–>归一化

全连接层FC6
该层的流程为：（卷积）全连接 -->ReLU -->Dropout

全连接层FC7
流程为：全连接–>ReLU–>Dropout

使用Relu替换之前的sigmoid的作为激活函数 ：

Local Response Normalization(局部响应归一化) ：

2.4 深度实践

深度实践——口罩检测

三、当前面临的问题
3.1挑战一：样本采集遇到的困难
（1） Multi-views
由于摄像机用过不同角度进行采样导致的视角问题；
（2） Occlusion
行人密集导致一些人体被遮挡；
（3） Unbalanced Data Distribution
每个行人都有一些不同的属性，所以个体属性个数的不一致会导致样本不平衡的问题；
（4） Low Resolution
由于好的摄像机成本比较大，现实场景中低分辨率的图片占大多数；
（5） Illumination
光照问题，不同时间段采集到的图片样本光照条件不相同，有时候白天图片里面的影子也可能会被识别成一个人；
（6） Blur
人移动的时候，摄像机拍摄到的人体可能是模糊的

3.2挑战二：网络结构本身
演讲PPT资料可私信获取！