目录
1 slowfast基本思想
1.1 slowfast项目
- 通用行为识别框架
- 可以拓展到自己项目
- 提供常规训练模型
- 模板项目直接讨论
视频异常检测 - 异常行为识别模型
- 根据自己应用数据进行改进
- 常用无监督
视频行为分类 - 通用时评行为分类框架,基于UCF-101数据进行实战
1.2 slowfast基本思想
动作在变环境不变,环境和动作信息,怎么融合前面
- 你
前后的序列 提取人再做什么 ,动作的顺序,2D的卷积,采取几帧,获取动作序列 获取多少帧 进行采样,去中间图片进行环境信息
行为识别,基于视觉,每个小序列,每个特诊非常丰富,能达到实时处理的速度嘛
1.3 主要贡献
一个通用的行为识别框架,自己的项目轻松套用,对比试验很丰富网络结构设计及其预训练模型均提供,思想比较直接,高频与低频特征通吃,直接融合特征进行预测,源码资源丰富,直接可以当作模板的项目
1.4 slowfast核心网络结构
去环境信息的时候,stride值要大(stride取4,那么32帧中取8帧)
环境信息很少,网络结构应该复杂还是简单呢?
网络结构应该复杂更好一点
动作信息很多,网络结构应该复杂还是简单呢?
应该简单,不然的话信息太多解决不了
图片中 α和β是0-1之间的小鼠,代表网络结构的缩小。
做完拼接。卷积
resnet层:特征提取
slow与fast提取特征目的不同
均使用3D卷积计算
fast计算要更加轻量级
1.5 特征融合
slow与fast的特征图如何融合呢
- reshape
- 抽帧,采样
- 3D卷积