1基于深度学习的视频异常检测方法综述
1.1异常类型:外观异常=像素异常+帧异常=空间异常、运动异常=时间异常。
基于监控一般是单场景的异常检测
1.2流程:提取特征、建立模型、测试:测试样本输入模型(重构误差、预测误差、异常分数和峰值信噪比)
1.3.1异常的基本类型:
①局部异常和全局异常②时间异常和空间异常
1.3.24种学习范式:
有监督、无监督、弱监督和自监督
①样本(正常+异常)+标签,一一对应(二分类器)
缺:异常视频的稀缺性。
②样本(正常)(无标签),(远离正常样本的视频看作异常)
缺:要提供充足的正常视频数据。
③仅依赖视频级标注信息进行建模
不依赖逐帧标签,降低工作量,方便大数据集,可增强对不同场景的适应能力,以及对不同异常类型的检测性能
④无标注(学习数据各部分之间的联系)
1.4评价方式:①精度优先②效率优先。
①检测和定位②更适合实际应用。
1.5异常检测方法
①基于重构的方法②基于预测的方法③基于分类的方法④基于回归的方法。(12是主流)
①自编码器②稀疏编码(正常视频可通过一组字典重构)
②一正常视频存在某种有规律的上下文联系
③根据视频和映射函数判断属于哪种类型
分类:单分类(单分类器)、多分类(自编码器的特征向量来表示全局特征,再将特征送入高斯 分类器进行二分类异常检测)
缺:不涉及定位
④将异常得分作为评估指标
①②依赖特征、适合异常少的视频、使用于视频少的数据集,检测+定位,无监督
③适应于有充足正常视频的数据集,训练时间长,检测+定位,无监督
④适用于大型数据集,需要视频数量多,弱监督,检测
1.6数据集
①UMN 数据集:全局异常行为,视频数量少,重构
②subway:重构,视频数量少,异常视频少,异常种类单一。
③UCSD Pedestrain:局部异常行为,数量充足,重构+预测+分类。异常数量、种类多。
④CUHK Avenue:数量适中,重构、预测、分类,90.4%
⑤Street Scene:相对充足,重构、预测、分类,使用论文少。
⑥IITB-Corridor:数据多,回归+弱监督(视频级别、视频片段级别),目前使用少,异常数量、种类多。
1.7性能评估
①混淆矩阵②ROC曲线③等错误率
1.8缺点:深度学习的实时性差(预处理和特征提取时间成本高),精度高
2.监控视频异常检测:综述
2.1挑战:异常事件定义的场景依赖性,训练样本中包含噪声
学习范式:半监督、无监督。
2.2算法分类
①按算法发展阶段
传统机器学习:手工特征,传统机器学习方法,方 向 梯 度 直 方 图 、光 流 直 方 图 、3D 梯度、局部二值模式、轨迹
混合方法阶段:深度特征,传统机器学习方法
深度学习:端到端的神经网络模型检测异常
②按算法模型输入
点模型:单个时空块
序列模型:连续的时空块序列
图模型:一组相互关联的时空块
复合模型
3.智能视频异常事件检测方法综述
3.1异常事件检测技术
①半监督②无监督③弱监督
①训练:正常视频
②训练:正常异常视频均无标注(新兴)
③少量或者具有弱标注的包含异常 事件的视频(此类型的方法较少)
3.2关键步骤
3.2.1视频事件提取
前景区分:①梯度法②背景减除法③基于深度神经网络的方法
①最简单(相邻两帧之间相同像素位置上的灰度值是否发生剧烈变化)
②对背景进行建模,再将图像和背景模型相减
③只能够检测出在训练 时学习过的类别的物体;
前景提取:①滑动窗口法②目标检测法
①粗略,将独立完整的前景划分在几个不同的前景块里,开销大
②深度学习,识别种类+定位,无法检测训练集中没有的目标
深度神经网络出现,省略了视频时间提取的步骤,直接对原始帧进行处理。U-net
3.2.视频事件表示(找特征)
①基于特征工程的视频事件表示②基于深度表示学习的视频事件表示
①特征算子
②卷积神经网络(CNN)或循环神经网络(RNN)来学习视频的时空特征,并进行视频事件的表示和分类,基于重构,基于预测。基于预测:自编码器、U-Net、对抗生成网络