静态背景下运动目标检测 matlab_基于深度学习的视频目标检测综述

6.13更新：经评论区iEcho提醒，又回炉翻了下文章，发现FGFA方法也是在线光流学习，特此更正。

---

最近对深度学习在视频任务中的应用做了个简单调研，切入点是视频目标检测，刚开始调研的时候很乐观，本想着作为研究课题继续研究，但是随着调研深入，到最后发现这个领域还是慎入，，，在这里把调研报告放出来吧。

摘要：近些年来，深度卷积神经网络在图像目标检测领域迅速普及，而且相较于传统方法取得了很好的效果，基于深度学习的图像目标检测也逐渐合称为一个统一的深度网络框架。在图像目标检测任务取得了不错的效果后，深度学习又迁移到基于视频的目标检测任务上。本文系统总结基于深度学习的视频目标检测方法，归为2类：基于检测和跟踪的深度学习视频目标检测方法以及基于光流等动态信息的深度学习目标检测算法。本文通过细致探究这些方法，并进行横向的对比，结合在ImageNet VID数据集上的实验，相近分析每个方法的优势和劣势以及他们之间的联系。

关键词：深度卷积网络，视频目标检测，光流信息，循环神经网络

1. 绪论（东拼西凑）

目标检测是计算机视觉领域的一个经典的任务，是进行场景内容分析和理解等高级视觉任务的基本前提。视频中的目标检测任务更是和现实生活的需求贴近，现实生活中的智能视频监控、机器人导航等应用场景都需要对视频进行处理，对视频中的目标进行检测。视频中的目标检测需要在静态图像目标检测的基础上对目标因运动产生的各种变化进行处理，这是其中的难点。

传统的目标检测方法主要使用方向梯度直方图 ( Histogram of Oriented Gradient， HOG)、尺度不变特征变换( Scale-Invariant Feature Transform，SIFT)特征对滑动窗口进行判别，主要代表方法为部位形变模型( Deformable Part Model，DPM) 及其扩展。由于滑动窗口需要大量的计算开销，基于候选窗口的目标检测方法后来居上，目前较通用的候选窗口产生方法包括选择提取 ( Selective Search )、边缘窗口 ( Edge- Box)等。

随着深度学习的发展，深度卷积神经网络迅速应用到计算机视觉的每个领域，相较传统方法取得了比较大的进步。深度卷积网络主要通过权值共享策略将网络的层次不断加深，使网络具有更强的解析能力。ImageNet、COCO等大规模图像数据库的建立极大促进深度网络的发展。具有 7 层的 AlexNet卷积网络在 ImageNet 图像分类大赛中以绝对的优势获得冠军，其有效性也得到越来越多的验证．随后，VGG网络、GoogleNet及残差网络［20］等将卷积网络推向更深层次，大幅提高网络的性能，使大规模图像分类的准确率提升到很高的水平。

同时，研究人员也开始寻求深度卷积网络在其它领域的扩展．在目标检测方面，基于区域的卷积神经网络( Region Based Convolutional Neural Network，RCNN)成功连接目标检测与深度卷积网络，将目标检测的准确率提升到一个新的层次．RCNN由 3 个独立的步骤组成: 产生候选窗口、特征提取、SVM 分类及窗口回归．RCNN主要采用 Selective Search 的方法产生许多候选窗口．随后将所有产生的候选窗口一次送入深度网络提取特征．最后训练 SVM 分类器对所有候选窗口进行分类及窗口回归． 由于RCNN分为 3 个独立的过程，所以检测效率很低．基于此种情况，学者们改进 RCNN，提出尺度金字塔池化网络( Spatial Pyramid Pooling Net，SPPnet)和快速基于区域的神经网络( Fast Region Based Convolutional Neural Network，Fast- RCNN)．不需要将所有的候选窗口送入网络，只需将图像送入深度网络一次，再将所有的候选窗口在网络中某层上进行映射，大幅提升模型的检测速度．

更快的基于区域的卷积神经网络( Faster RegionBased Con