深度卷积神经网络的行人检测 (pedestrian detection)

原创 2015年07月08日 09:11:25

行人检测 (pedestrian detection)是智能交通视频分析的基础技术之一。

1 现有的方法

  • 基于HOG方法
  • 基于DPM
  • 基于卷积神经网络

基于HOG方法已经研究了很多年,有一些现成的代码实现,速度看起来也是比较快的,可以做到500帧每秒的检测速度(640*480,GTX295)。基于DPM的方法其实也是基于HOG的,只不过为行人的图像构建可以变形的模型,这样在检测行人的时候更为鲁棒。基于DCNN的模型是最近随着深度学习的盛行而来的,目前看起来正确率相对较高,但是速度相对较慢。

Denso IT Laboratory在网上Post的这段视频是我看到的第一个基于DCNN的实时行人检测监测。impressive! 实现的平台是AMD的Tegra K1,适合嵌入式设备。(昨天还有AMD的工程师来问我们是否有兴趣在APU上搞点东西,我现在也比较看好APU了。)使用了9层CNN网络,还可以输出行人到摄像头的距离,行人高度,是否摔倒等信息(orientation)。

这里写图片描述

2 数据集

目前大家常用的行人检测数据集主要是:

INRIA数据库: 训练集有正样本614张(包含2416个行人),负样本1218张;测试集有正样本288张(包含1126个行人),负样本453张。图片中人体大部分为站立姿势且高度大于100个象素,部分标注可能不正确。

Caltech行人数据库: 规模较大的行人数据库,采用车载摄像头拍摄,约10个小时左右,视频的分辨率为640x480,30帧/秒。标注了约250,000帧(约137分钟),350000个矩形框,2300个行人,另外还对矩形框之间的时间对应关系及其遮挡的情况进行标注。

ETH行人数据库:该数据库采用一对车载的AVT Marlins F033C摄像头进行拍摄,分辨率为640x480,帧率13-14fps,给出标定信息和行人标注信息。

3 算法分析

paper: Real-time Pedestrian Detection Using LIDAR and Convolutional Neural Networks

Denso是一个做视频分析的公司,文章比较难找到。这篇Denso2006年的文章,描述了这个系统的早期版本:

  • 使用了两层的CNN网络。输入是30*60。这个结构还是一个Classification的网络。这个网络比较小。
    这里写图片描述
  • 然后对整个图片使用滑动窗口。1. 结合LIDAR光线探测器来减少搜索的区域; 2. 基于flat world假设(就是人总是站在路上的,所以可以实事先画出道路区域,这个对固定摄像头是有效的),减少搜索区域。
  • 实现的速度(那时候还是P4的时代)
    这里写图片描述

Beyond Pedestrian Detection: Deep Neural Networks Level-Up Automotive Safety

这篇文章是Denso在GPU计算网站给出的算法框架,看起来很简单,就是3层卷积,3层Maxpool和3层的Full connected .

这里写图片描述

最后一层既包括Classification,又有Regression。
这里写图片描述

others:

Tegra 1:
NVIDIA® Kepler™ 架构 (NVIDIA 4-加-1 (4-Plus-1™) 四核 ARM Cortex-A15 )
192 个 NVIDIA CUDA
最大内存容量 8 GB
28 纳米
364.8 GFLOPs (Intel i7 只有91.87 GFLOPS)
power: <2W (while Titian >250w,能效比是GPU的10倍?)


如何做Location?

行人检测 Is Faster R-CNN Doing Well for Pedestrian Detection?

ECCV 2016本文主要是分析了一下Faster R-CNN用于行人检测效果不好的原因,并对比提出了解决方案。 Faster R-CNN用于行人检测效果不好的原因有两个: 1)行人在图像中的尺寸...

浅入浅出TensorFlow 7 - 行人检测之Faster-RCNN

一. 环境准备         本文通过 TensorFlow 实现基于 Faster-RCNN 的行人检测,网络模型基于 VGG16 or ResNet。 1. 准备 TensorFlow 环境 ...

行人检测方法比较

学习传统方法做行人检测三个月了,马上开始深度学习了,防止遗忘 ,做个总结: 一:VJHaar特征:利用shift and scale invariant  features ,不做图像缩放,在整幅图计...

对象检测之行人检测(3)

RCNN算法概要
  • xiny520
  • xiny520
  • 2016年05月25日 10:56
  • 1069

深度学习实践经验:用Faster R-CNN训练行人检测数据集Caltech——准备工作

前言Faster R-CNN是Ross Girshick大神在Fast R-CNN基础上提出的又一个更加快速、更高mAP的用于目标检测的深度学习框架,它对Fast R-CNN进行的最主要的优化就是在R...

行人检测方法代码汇总

序号 文章简介 论文         出处 0 2012年PAMI登的行人检测的综述性文章: pedestrian detection an...

[caffe]深度学习之CNN检测object detection方法摘要介绍

深度学习之CNN检测object detection领域算法发展的非常迅速;有overfeat, rcnn, spp, fast rcnn, faster rcnn等...

行人检测(Pedestrian Detection)资源整理

行人检测(Pedestrian Detection)资源整理

目标检测之CNN系列

【目标检测】RCNN算法详解 【目标检测】Fast RCNN算法详解  【目标检测】Faster RCNN算法详解  rcnn学习笔记:Rich feature hierarchi...

【行人检测】之Joint Deep Learning联合深度学习(附源码)

新近研究ICCV2013的一篇文章,《Joint Deep Learning for Pedestrian Detection》,Wanli Ouyang and Xiaogang Wang 主旨是...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度卷积神经网络的行人检测 (pedestrian detection)
举报原因:
原因补充:

(最多只允许输入30个字)