自编码器微调_CVPR2019：对象为中心的自编码器和伪异常

Object-centric Auto-encoders and Dummy Anomalies for Abnormal Event Detection in Video

链接：unofficial code

来源：CVPR2019

作者：作者和Detecting Abnormal Events in Video Using Narrowed Normality Clusters【WACV2019】、Deep Appearance Features for Abnormal Behavior Detection in Video【ICIAP2017】、Unmasking the abnormal events in video【ICCV2017】为同一个团队。

创新点：第一次将异常检测当成可区分的多类分类问题（discriminative multi-class classification problem）。

贡献：1.引入了一种基于对象为中心的卷积自编码器 (object-centric convolutional auto-encoders) 的无监督特征学习框架，以编码运动和外观信息。2. 我们提出了一种基于训练样本聚类为正常簇 (normality clusters) 的监督分类方法 [即对正常行为分了类]。用一个one-versus-rest的异常事件分类器将每个正常聚类和其他的分开。

数据集：Avenue、ShanghaiTech、UCSD ped2 和 UMN

灵感来源：R. Hinami, T. Mei, and S. Satoh. Joint Detection and Recounting of Abnormal Events by Learning Deep Generic Knowledge. In Proceedings of ICCV, pages 3639–3647, 2017. 和这篇文章的不同在于这篇文章用了ssd检测。在特征提取阶段，hinami等人在多个视觉任务上微调了Fast R-CNN模型的分类分支，以利用语义信息来检测和描述异常事件，而这篇论文用卷积自编码器来学习无监督的深度特征。

方法：整个网络分成四个阶段：目标检测阶段、特征学习阶段、训练和测试阶段。目标检测阶段——用包围框将目标切下来，然后切下来的图片送到特征学习阶段，同时计算代表运动的梯度，然后把梯度也送到特征学习阶段，见下图。特征学习阶段——将两个梯度和剪裁后的图片分别送到三个卷积自编码器中。每个隐藏层为8x8x16，最后的特征向量为3072维。训练阶段——通过构建一个context，在这个context中，正常样本中的一个子集相对另一个子集相当于伪异常样本，来弥补真实异常样本缺少的问题，方法就是用k-means进行聚类。测试阶段—— 每个测试样本x被k个SVM模型分类，最高的被认为是异常样本，由下式计算。

结果：frame-level AUC----Avenue90.4 ShanghaiTech84.9 Ped2 97.8 UMN 99.6。帧率11fps（这个有点太慢了，时间用来检测了）。

可以借鉴的地方：消融实验的部分---做了这么几个实验。1.frame-level自编码器+ocsvm【one-class SVM】，说明提取对象为中心的特征和用one-versus-rest SVM有用；2. frame-level自编码器+one-versus-rest SVM，说明one-versus-rest SVM确实有用。3.预训练的ssd特征+one-versus-rest SVM，说明自编码器学习特征的重要性；4.object-centric CAE只保留外观或者运动特征，说明运动特征和外观特征的相关性。5.object-centric CAE+ocSVM，说明把异常检测当成多分类任务有用。

不足之处：检测的时候如果出现遮挡，如两人重叠，就会误报（正常被判断为异常，false positive）。