Future Frame Prediction for Anomaly Detection – A New Baseline 文献阅读

Code(官方tensorflow)
Code(pytorch复现)

1 摘要

视频中的异常检测是指识别不符合预期行为的事件。然而，几乎所有现有的方法都通过尽量减少训练数据的重构误差来解决这个问题，这并不能保证对异常事件能够产生更大的重构误差。在本文中，我们提出在一个视频预测框架内解决异常检测问题。据我们所知，这是第一个利用预测的未来框架与其ground truth之间的差异来检测异常事件的工作。为了预测对正常事件具有更高质量的未来框架，除了常用的对强度和梯度的外观（空间)约束外，我们还在视频预测中引入了一个运动（时间）约束，通过强制预测帧和ground truth帧之间的光流保持一致，这是第一个将时间约束引入视频预测任务的工作。这种空间和运动约束有助于未来对正常事件的框架预测，从而有助于识别那些不符合期望的异常事件。在玩具数据集和一些公共数据集中的广泛实验验证了我们在正常事件中不确定性的鲁棒性和对异常事件的敏感性方面的有效性。

2 方法

图1. 预测网络框架图

2.1 训练阶段

首先可以看见，整体的框架是GAN网络的形式。包含一个生成器（Generator）和判别器(Discriminator)。生成器用的是U-Net网络。训练的时候只学习正常图片，不输入异常图片。有一个假设的前提，异常图片生成的质量没有正常图片生成的好。

将图片序列 I 1