视频异常事件检测Object-centric Auto-encoders and Dummy Anomalies for Abnormal Event Detection in Video

Object-centric Auto-encoders and Dummy Anomalies for Abnormal Event Detection in Video

1. Architecture

异常事件监测问题中有几个困难：

• 缺乏异常数据，对此作者提出了 one-V.S.-rest的伪标签模式。
• 异常事件总是伴随在正常事件中发生，因此是基于上下文的。

大多数现有的方法都采用的是基于离群检测（outlier detection）的策略，训练时对所有场景的normality进行学习，在inference阶段，如果测试数据严重偏离则视为anomaly。

此外，大多数现有的方法都是基于local或global（frame-level）的特征进行学习，而没有显式地利用场景中的物体，作者采用了SSD做一个object detection的预处理，这也很合乎常理，一般video中的异常也一般都是由于前景object变化而产生的。

算法的整体流程如下：

1. SSD提取object。分别将t-3、t、t+3三帧中的objects提取出，并将提取到的bbox灰度化，t-3和t、t和t+3分别作相减得到的gradient信息作为motion送入卷积自编码器（convolutional-auto-encoder,CAE），t帧的bbox单独送入另外一个appearance CAE提取特征。

2. 各CAE提取特征，最后将3个CAE提取的特征concatenate。

3. 将concatenated在一起的特征进行k-means聚类，每一类代表一个特定的normality。

4. 训练分类器。对一个给定的簇i，剩下的{1,2,3…,k\i}簇都视为dummy anomalies，对每个簇i训练一个二元分类器，即所谓的one-versus-rest策略。作者用的是SVM分类器，g_i的含义就是被判别为第i个normality的得分。
   g i ( x ) = ∑ j = 1 m w j ⋅ x j + b g_{i}(x)=\sum_{j=1}^{m} w_{j} \cdot x_{j}+b gi​(x)=j=1∑m</