深度卷积神经网络的行人检测 (pedestrian detection)

原创 2015年07月08日 09:11:25

行人检测 (pedestrian detection)是智能交通视频分析的基础技术之一。

1 现有的方法

  • 基于HOG方法
  • 基于DPM
  • 基于卷积神经网络

基于HOG方法已经研究了很多年,有一些现成的代码实现,速度看起来也是比较快的,可以做到500帧每秒的检测速度(640*480,GTX295)。基于DPM的方法其实也是基于HOG的,只不过为行人的图像构建可以变形的模型,这样在检测行人的时候更为鲁棒。基于DCNN的模型是最近随着深度学习的盛行而来的,目前看起来正确率相对较高,但是速度相对较慢。

Denso IT Laboratory在网上Post的这段视频是我看到的第一个基于DCNN的实时行人检测监测。impressive! 实现的平台是AMD的Tegra K1,适合嵌入式设备。(昨天还有AMD的工程师来问我们是否有兴趣在APU上搞点东西,我现在也比较看好APU了。)使用了9层CNN网络,还可以输出行人到摄像头的距离,行人高度,是否摔倒等信息(orientation)。

这里写图片描述

2 数据集

目前大家常用的行人检测数据集主要是:

INRIA数据库: 训练集有正样本614张(包含2416个行人),负样本1218张;测试集有正样本288张(包含1126个行人),负样本453张。图片中人体大部分为站立姿势且高度大于100个象素,部分标注可能不正确。

Caltech行人数据库: 规模较大的行人数据库,采用车载摄像头拍摄,约10个小时左右,视频的分辨率为640x480,30帧/秒。标注了约250,000帧(约137分钟),350000个矩形框,2300个行人,另外还对矩形框之间的时间对应关系及其遮挡的情况进行标注。

ETH行人数据库:该数据库采用一对车载的AVT Marlins F033C摄像头进行拍摄,分辨率为640x480,帧率13-14fps,给出标定信息和行人标注信息。

3 算法分析

paper: Real-time Pedestrian Detection Using LIDAR and Convolutional Neural Networks

Denso是一个做视频分析的公司,文章比较难找到。这篇Denso2006年的文章,描述了这个系统的早期版本:

  • 使用了两层的CNN网络。输入是30*60。这个结构还是一个Classification的网络。这个网络比较小。
    这里写图片描述
  • 然后对整个图片使用滑动窗口。1. 结合LIDAR光线探测器来减少搜索的区域; 2. 基于flat world假设(就是人总是站在路上的,所以可以实事先画出道路区域,这个对固定摄像头是有效的),减少搜索区域。
  • 实现的速度(那时候还是P4的时代)
    这里写图片描述

Beyond Pedestrian Detection: Deep Neural Networks Level-Up Automotive Safety

这篇文章是Denso在GPU计算网站给出的算法框架,看起来很简单,就是3层卷积,3层Maxpool和3层的Full connected .

这里写图片描述

最后一层既包括Classification,又有Regression。
这里写图片描述

others:

Tegra 1:
NVIDIA® Kepler™ 架构 (NVIDIA 4-加-1 (4-Plus-1™) 四核 ARM Cortex-A15 )
192 个 NVIDIA CUDA
最大内存容量 8 GB
28 纳米
364.8 GFLOPs (Intel i7 只有91.87 GFLOPS)
power: <2W (while Titian >250w,能效比是GPU的10倍?)


如何做Location?

卷积神经网络之人脸识别

-
  • 1970年01月01日 08:00

深度学习实践经验:用Faster R-CNN训练行人检测数据集Caltech——准备工作

前言Faster R-CNN是Ross Girshick大神在Fast R-CNN基础上提出的又一个更加快速、更高mAP的用于目标检测的深度学习框架,它对Fast R-CNN进行的最主要的优化就是在R...
  • JacobKong
  • JacobKong
  • 2017-02-18 21:16:35
  • 7912

行人检测 Is Faster R-CNN Doing Well for Pedestrian Detection?

ECCV 2016本文主要是分析了一下Faster R-CNN用于行人检测效果不好的原因,并对比提出了解决方案。 Faster R-CNN用于行人检测效果不好的原因有两个: 1)行人在图像中的尺寸...
  • cv_family_z
  • cv_family_z
  • 2016-09-01 10:44:19
  • 5885

浅入浅出TensorFlow 7 - 行人检测之Faster-RCNN

一. 环境准备         本文通过 TensorFlow 实现基于 Faster-RCNN 的行人检测,网络模型基于 VGG16 or ResNet。 1. 准备 TensorFlow 环境 ...
  • linolzhang
  • linolzhang
  • 2017-04-20 22:06:49
  • 15115

行人检测“Pedestrian detection at 100 frames per second”

文章使用的特征是ICF,并在训练阶段进行多尺度的模型训练,将检测时间转移到训练上进行提速。 ChnFtrs检测器 Dollar提出的ICF与DPM的效果可以媲美,ICF对滤波器响应进行简单的矩形加...
  • cv_family_z
  • cv_family_z
  • 2015-10-29 14:33:04
  • 3531

【行人检测】之Joint Deep Learning联合深度学习

新近研究ICCV2013的一篇文章,《Joint Deep Learning for Pedestrian Detection》,Wanli Ouyang and Xiaogang Wang 主旨是利...
  • ture_dream
  • ture_dream
  • 2016-11-08 09:33:25
  • 1623

对象检测之行人检测(3)

RCNN算法概要
  • xiny520
  • xiny520
  • 2016-05-25 10:56:19
  • 1372

行人检测资源

综述文献 行人检测资源(上)综述文献         行人检测具有极其广泛的应用:智能辅助驾驶,智能监控,行人分析以及智能机器人等领域。从2005年以来行人检测进入了一个快速的发展阶段,...
  • hermito
  • hermito
  • 2016-04-14 18:09:03
  • 14403

【行人检测】之Joint Deep Learning联合深度学习(附源码)

新近研究ICCV2013的一篇文章,《Joint Deep L》
  • delltdk
  • delltdk
  • 2014-04-30 14:47:50
  • 11020

行人检测“Joint Deep Learning for Pedestrian Detection”

动机:行人检测中的特征提取,形变处理,遮挡处理和分类联合学习。深度网络可以将各部分放到不同的网络层并使用BP进行优化。相关工作: 用于行人检测的特征:Haar,HOG,SIFT,一阶颜色特征如颜色直...
  • cv_family_z
  • cv_family_z
  • 2015-11-06 14:24:04
  • 2081
收藏助手
不良信息举报
您举报文章:深度卷积神经网络的行人检测 (pedestrian detection)
举报原因:
原因补充:

(最多只允许输入30个字)