视频异常检测——Appearance-Motion Memory Consistency Network for Video Anomaly Detection

文章

2021.AAAI.Appearance-Motion Memory Consistency Network for Video Anomaly Detection

资源

问题描述

现有方法只单独使用外观或运动信息，没有做融合

思想

融合外观和运动信息，捕捉他们的一致性

做法

网络输入是视频序列和光溜信息，然后用encoder进行压缩，获得向量。网络中有两个记忆池，分别记录外观和运动信息，分别利用压缩得到的两个向量对记忆池进行查询，得到topk相近的item，然后将这些拼接起来。用外观的信息重构运动，用运动的信息重构外观。把重构得到的，topk得到的，和压缩直接得到的信息融合在一起，用decoder解压缩，获得图像和光流。

训练损失：
生成器：

外观损失：

运动损失：

记忆池损失：

判别器：
原图为1，预测为0

预测阶段的异常分数与NMAD相似。一个是与记忆的相近程度，一个是与原图的差异程度。

算法

结果

存在的问题

思考

论文写法？