视频异常行为检测算法MPN，在多个数据库上达到SOTA

分享一篇CVPT 2021 视频异常行为检测的论文：Learning Normal Dynamics in Videos with Meta Prototype Network，

作者：吕辉, 陈宸, 崔振, 许春燕, 李勇, 杨健

单位：南京理工大学；北卡夏洛特分校

摘要:

该工作提出了一个场景模式自适应的动态原型（prototype）学习框架，以实时的学习视频中的正常模式，来辅助视频帧的预测，然后通过衡量视频帧的预测误差和和学习到的正常模式原型向量与输入特征的差异程度来检测异常。提出的新算法在无监督异常检测的数据集上和新的少样本学习场景中，均达到了较好的成绩。

文章链接：https://arxiv.org/abs/2104.06689

代码链接：https://github.com/ktr-hubrt/MPN & http://vgg-ai.cn/pages/Resource/

拟解决的问题：

近来，基于自编码器的视频帧重建（或未来帧预测）方法成为视频异常检测的一个潮流范式。这些仅仅使用包含正常模式的数据训练得到的模型，在遇到没有见过的异常模式的数据时，往往会产生比较大的重构误差。但是由于深度神经网络极强的泛化能力，深度模型对一些异常的视频帧（部分区域）也会重建（或预测）的较好，这就导致了“过度泛化”的问题。在这份工作中，我们设计了一个动态原型学习的组件，来动态实时地建模和压缩视频中的正常模式为原型（prototype），以促进模型对正常视频帧的重建（或预测）和抑制对异常视频帧的重建（或预测）。并且，我们引入元学习理论，赋予动态原型学习组件场景模式自适应的能力，从而不需要设计手动的更新规则和阈值来使原型适应不同的测试场景，是的模型具有快速高效的场景自适应能力。

贡献：

1)我们设计了一个动态原型学习组件来学习和建模监控视频里的正常模式。其中，我们结合自注意力机制，隐式自主的压缩视频特征为表征正常模式的原型向量。整个框架是端到端的，可微的。

2)我们在动态原型学习组件中引入元学习理论，来