人体属性检测与深度实战

深度学习计算机视觉从入门到精通——人体属性检测与深度实战

说明:本文来自数据堂人工智能实验室(AI Lab )深度学习计算机视觉从入门到精通第六讲人体属性检测与深度实战。
主讲人:丁勇

一、人体属性检测介绍
1.1人体属性检测概述
总体来讲人体属性检测在机器视觉方面可以概括为:给定人体框,通过分析人体属性特征与图像低层特征的映射关系,检验或识别出人体框中的视觉语义特征。
在这里插入图片描述

1.2人体属性检测处理流程
在这里插入图片描述
在这里插入图片描述

1.3人体属性检测技术应用——行业应用
主要应用场景:零售、安防、边检、医疗、教育、金融
1.安防监控
识别人体的性别年龄、衣着外观等特征,辅助定位追踪特定人员;监测预警各类危险、违规行为(如公共场所跑跳、抽烟),减少安全隐患
2.智能零售
商场、门店等线下零售场景,识别入店及路过客群的属性信息,收集消费者画像,辅助精准营销、个性化推荐、门店选址、流行趋势分析等应用
3.线下广告投放
楼宇、户外等广告屏智能化升级,采集人体信息,分析人群属性,定向投放广告物料,提升用户体验和商业效率
……

二、人体属性检测算法研究现状
2.1人体属性检测数据集——开源数据集

在这里插入图片描述
PETA Dataset
共19000张行人样本,包含61个二分类属性和4个多分类属性。

PA-100K Dataset(基于现实监控场景抓取)
共10万个行人样本,包含26个属性。

RAP Dataset(目前较权威的行人属性识别数据集)
共41585张行人样本,包含69个二分类属性和3个多分类属性

WIDER Attribute 是一个大型的人类属性数据集。它包含了30个场景类别的13789张图片。
在这里插入图片描述

2.1人体属性检测数据集——数据堂自有数据集
在这里插入图片描述
更多数据:https://www.datatang.com/dataset/all/1

2.2传统人体识别方法——多任务学习方法
step1:设计一个评价标准;
step2:根据评估标准去优化模型的参数,获取更优的结果。
缺陷:在单个任务上取得了令人满意的结果,但忽略了其他可能会给评价标准带来进一步改进的任务
在这里插入图片描述

2.3基于深度学习的人体检测算法——人体属性检测
在这里插入图片描述
在这里插入图片描述

2.3基于深度学习的人体检测算法——人体属性检测分类
在这里插入图片描述

2.3基于深度学习的人体检测算法——(HydraPlus-Net)
在这里插入图片描述

HP-net由两部分组成,一部分是主网络(M-net),即一个简单的CNN架构,另一部分是适用于不同的语义特征层次的MDA模块(多个分支层次的多方位注意模块),输出由全局平均池(GAP)和全连接层连接和融合。最后的输出可以生成为属性识别的属性得分(也就是概率),也可以生成为Re-ID的特征向量。
论文:《HydraPlus-Net: Attentive Deep Features for Pedestrian Analysis》ICCV-2017

在这里插入图片描述
论文:《HydraPlus-Net: Attentive Deep Features for Pedestrian Analysis》ICCV-2017

2.3基于深度学习的人体检测算法——人体属性检测(DeepMAR
在这里插入图片描述

ConvNet卷积神经网络是个基于DeepSAR和DeepMAR共享的网络结构。它包括五个卷积层和三个完整的连接层。每层都应用了ReLU神经元。在最先两个的ReLu层厚加入最大池化层和局部归一化层。第5个ReLu层之后还有一个最大池化层。

卷积层C1~C5
该层的处理流程是: 卷积–>ReLU–>池化–>归一化
在这里插入图片描述

全连接层FC6
该层的流程为:(卷积)全连接 -->ReLU -->Dropout
在这里插入图片描述

全连接层FC7
流程为:全连接–>ReLU–>Dropout
在这里插入图片描述

使用Relu替换之前的sigmoid的作为激活函数 :
在这里插入图片描述

Local Response Normalization(局部响应归一化)
在这里插入图片描述

2.4 深度实践
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

深度实践——口罩检测
在这里插入图片描述

三、当前面临的问题
3.1挑战一:样本采集遇到的困难
(1) Multi-views
由于摄像机用过不同角度进行采样导致的视角问题;
(2) Occlusion
行人密集导致一些人体被遮挡;
(3) Unbalanced Data Distribution
每个行人都有一些不同的属性,所以个体属性个数的不一致会导致样本不平衡的问题;
(4) Low Resolution
由于好的摄像机成本比较大,现实场景中低分辨率的图片占大多数;
(5) Illumination
光照问题,不同时间段采集到的图片样本光照条件不相同,有时候白天图片里面的影子也可能会被识别成一个人;
(6) Blur
人移动的时候,摄像机拍摄到的人体可能是模糊的

3.2挑战二:网络结构本身
在这里插入图片描述
演讲PPT资料可私信获取!