异常检测论文阅读笔记《MIST: Multiple Instance Self-Training Framework for Video Anomaly Detection》

MIST: Multiple Instance Self-Training Framework for Video Anomaly Detection

论文来源：CVPR 2021
原论文地址链接
相关代码链接

本论文关键词：Weakly supervised（弱监督），Multiple Instance Learning（多实例学习），Self-training（自训练）， Pseudo Label（伪标签），Self-Guided Attention（自引导注意）

大致介绍：

弱监督视频异常检测是一种基于可分特征将异常从正常事件中检测出来的任务。然而，大多数现有工作受限于不充分的特征表示。

本工作中，作者提出了多示例自训练的框架（MIST），该框架仅使用视频级别标签，能够高效地优化任务相关的特征表示。
其中，MIST包括了（1）一个多示例学习的伪类标生成器，它采用了稀疏连续采样策略来产生更加可信的伪类标（reliable clip-level pseudo labels）；（2）一个自引导注意力模块增强的特征提取器，用以在特征提取过程中使提取器更关注异常区域。 另外，在实验时作者采用了自训练的方法来优化这两个部件，并最终得到一个任务特定的特征提取器。

作者在两个公开数据集上做了大量实验，这些实验结果证明了他们所提出的方法的有效性，而且该方法的性能与现有的有监督和弱监督方法相当甚至更好，特别是在ShanghaiTech数据集上，该方法获得了94.83%的帧级别AUC分数。

其中，**伪标签的生成（Pseudo Label Generation）**与 **特征编码器中的自引导注意（Self-Guided Attention in Feature Encoder）**这两块是重要的结构组成部分，如下图所示：

相关概念的引入

1.Weakly supervised video anomaly detection

无监督学习方法（Unsupervised learning methods）只用正常的训练样本编码通常的模式，然后检测到独特的编码模式为异常。

带有视频级标签的弱监督学习方法（Weakly supervised learning methods）更适用于区分异常事件和正常事件。
弱监督能够大致的分为两类：encoder-agnostic methods and encoder-based methods.（与编码器无关的方法和基于编码器的方法。）

1. Encoder-agnostic methods train only the classifier.
2. Encoder-based methods train both a feature encoder and a classifier.

在这里，作者所提出的工作也是一种基于编码器的方法，并以在线细粒度的方式工作，使用学习到的伪标签来优化我们的特征编码器ESGA，而不是直接使用视频级标签作为伪标签。

2.Multiple Instance Learning.

多实例是一种流行的弱监督学习方法，在与视频相关的任务中，多实例学习将视频作为包，并将视频中的帧作为实例，通过特定的特征/分数聚合功能，视频级标签可以用于间接监督实例级的学习。聚合函数各不相同，例如最大池和注意力池。

3.Self-training.

自我训练在半监督学习中得到了广泛的研究，自我训练方法通过对未标记数据的伪标签生成来增加标记数据，以利用标记和未标记数据上的信息。
Recent deep self-training involves representation learning of the feature encoder and classifier refinement, mostly adopted in semi-supervised learning [12] and domain adaptation [40, 39].

4.Pseudo Label Generation via Multiple Instance Learning

就是之前的研究工作是这么处理伪标签的，它只需为每个剪辑分配视频级别的标签，然后在一开始就训练普通的功能编码器。
我们引入了一个基于MLP的结构作为在MIL范式下训练的伪标签生成器来生成伪标签。

5.Self-Guided Attention in Feature Encoder

我们提出了一种改编自E的自我引导注意增强特征编码器ESGA，它通过伪标签监督优化注意地图的生成，以增强任务特定表征的学习。

论文结论：

在这项工作中，作者提出了一个多实例自我训练框架(MIST)来有效地微调一个特定于任务的特征编码器。 作者在多实例伪标签生成器中采用稀疏连续采样策略，以产生更可靠的伪标签。通过估计的伪标签，我们所提出的特征编码器学习关注由所提出的自引导注意模块促进的帧中最可能的异常区域。

畅想，作者提出的具有鉴别表示的任务特征编码器，应该也可以提高其他现有的方法。