14、基于骨架的视频异常行为检测的图卷积神经网络

基于骨架的视频异常行为检测的图卷积神经网络

1. 引言

视频异常检测旨在检测由外观和运动引起的意外事件，该任务通常在训练集中仅提供正常数据，测试集则包含正常和异常事件。

在网络设计上，基于自动编码器和预测网络的方法较为流行，它们通过编码器 - 解码器网络对正常分布进行建模，以区分异常数据。由于视频具有时间维度，循环神经网络（RNN）和跨通道堆叠多帧可用于建模时间依赖性。

然而，以往大多数方法将整个图像作为输入，这会在建模正常分布时包含无关背景，可能导致异常检测出现误报，同时增加模型负担。因此，设计机制使模型专注于前景对象（如人类）是很有必要的。基于骨架的动作识别可利用RNN或时间卷积神经网络（CNN），但这些网络更倾向于图像级数据，而骨架以坐标形式呈现。最近提出的图卷积网络（GCN）可处理非网格数据，但在视频异常检测方面尚未得到充分研究。

本文引入了基于时空GCN的预测网络，用于基于骨架的视频异常检测。时空图卷积网络（ST - GCN）可自动捕捉空间配置和时间动态方面的正常模式，通过节点（人体关节）和边（关节的空间和时间连接）构建图，先进行空间图卷积传播信息，再进行时间卷积融合信息，最后通过全连接层预测未来关节，根据关节预测误差进行视频异常检测。

1.1 贡献

• 提出基于时空GCN的预测网络用于基于骨架的视频异常检测，通过空间图网络和时间图网络分别连接关节，有效探索人体关节的正常模式，这是首次将GCN应用于视频异常检测。
• 所提出的方法在上海科技大学校园和香港中文大学大道数据集上取得了最先进的性能。

2. 相关工作

2.1