Cloze Test Helps: Effective Video Anomaly Detection via Learning to Complete Video Events 速读整理

1）对前景的提取:figure 1 中提出的STCs 的生成策略与作者diss的cube不同在哪里：

实际上为：对于外观特征，用过目标检测框架首先提取出一帧图片上多个目标区域形成一个Ba ，设置一些策略去掉不重要的部分。形成最终的 Ba。

在提取这个帧的光流特征，通过相邻两帧，得到初始的Bm，在于外观集合做差，得到新的Bm，然后对这个不规则区域做轮框的检测画框，然后再筛掉小区域。在于最终的Ba做并集得B。利用这个set B中的batch的位置信息，扩列前后的帧得到spatio-temporal cube。

（注，此部分代码细节没有跑 在 fore_det/obj_det_with_motion.py）

（注，此部分在项目实现里还提到了mmdetection部分，没有研究）

 

2）读下related work

3）对于外观学习的填空，一个spatio-temporal cube(时空块,含有D个patch)--->STC(patch1--patchD)，抽掉不同的patch形成不同的填空，文中说对于缺失不同的patch的不完整incomplete event，即所谓的不同type,分别采用独立的DNN进行训练。即得到D个DNN。

异常的判断单元是对一个STC进行评分，对STC中缺失第i个patch的incomplete event,利用训练出来的第i个type的DNN进行检测和评分，然后求和，即eq3。 也就是说，时空块的长度，决定了训练的DNN的数量。--->即文中的集成策略，针对光流路的DNN同理。