视频异常行为检测网络

对视频中的异常行为进行检测十分有用，比如可以通过监控视频分析流水线车间或者实验室中的异常行为，这是一类比较简单的情形。
因为在流水线车间，设备使用正确，衣着装备佩戴正确就是正常，否则就是异常。
在实验室中，穿工作服就是正常，没穿就是异常。

针对这种情形，设计方法一。

方法一：基于YOLO的二分类异常行为检测    

此方法其实就是强行把异常行为进行二分，此方法只可以应用于特殊场景：
-- 比如在实验室，穿了实验服就是正常，没穿就是异常
-- 或者在流水线，戴头盔就是正常，没带就是异常
-- 这种方法的目的就是为了方便进行数据标注

因为对于特定场景下，人体异常行为存在复杂多样、较难明确定义的问题，对此，一种简单的解决方式是将人体行为分为两类，忽略中间的过渡行为分为正常行为和异常行为。
因为对于如实验室这样的特定场景，异常行为识别的需求可能只是是否穿戴工作服和工作帽这类简单的分类问题，所以分为两类可以很好的解决异常行为定义的问题。

但此方法检测场景有限，对于更通用的场景，如果要进行异常行为检测， 一个很大的难点是异常行为数据过少，比如要进行ATM机监控视频的异常行为检测，但并不是很常有抢劫、偷盗等情况发生。
由此，我们可以设计一个 编码器-解码器对抗网络+双流网络来构建异常行为检测模型。

方法二：编码器-解码器对抗网络+双流网络法

1、使用编码器-解码器对抗网络重构图像
-- 图片，就是一个多维矩阵，所谓重构图片，就是基于已有特征，重构一个多维矩阵
-- 编码器的作用在于从高纬度总结特征
-- 解码器作为在于把总结的高纬度特征解码为低纬度矩阵
-- 最终通过解码器的上采样，完成维度降低和规模增大（上采样与池化相对）
-- 编码器-解码器网络的学习过程，同样最重要的在于构建损失，此处的损失可以是重构图像与输入图像的向量差

2、使用双流网络进行两个方面的检测
-- 一个网络进行像素检测，利用像素检测抽取空间特征
-- 另外一个网络进行姿态检测，利用姿态检测缩小检测范围，锁定人的行为特征
-- 最终将这两部分，加权为编码器网络的输出

3、正常行为和重构图像之间向量差小，异常行为和重构图像之间向量差大
-- 利用这个规律，可以在异常行为数据很少的情况下，通过对抗网络重构图像完成模型的训练
-- 此方法不用进行异常行为的标注，全部是正常行为的视频既可以完成训练

包含正常行为的视频帧：

对包含正常行为视频帧的重构结果：

包含异常行为视频帧：

对包含异常行为视频帧重构结果：

-- 可以看出，网络并不能很好地重构包含异常行为的帧。 其差异较大。通过对比其特征向量的差异，则能检测出是否存在异常行为。

参考文献：

[1] 基于 YOLO 网络模型的异常行为检测方法研究 刘雪奇 ，孙胜利

[2] 利用姿态信息实现异常行为检测 郑爽，张轶