【基于slowfast的行为识别原理详解】SlowFast Networks for Video Recognition

深度学习扛把子

已于 2023-03-23 13:59:28 修改

阅读量782

点赞数

文章标签：深度学习

于 2023-03-17 11:31:30 首次发布

本文链接：https://blog.csdn.net/qq_16792139/article/details/129615436

版权

之前用了基于骨架点的行为识别模型效果不是很好
一种办法是我们重新训练一个类或者用数据集中类少一点的模型
在这里插入图片描述
我们准备尝试slowfast进行，从效果图上可以看出，其实read,run/jog类别的AP并不是很高。

我们的posec3d模型除了keypoint还有limb模型（RAF），我们看一下PAF实际上是在关键点之间建立的一个向量场，描述一个limb的方向
在这里插入图片描述
我们这里解释一下Spatio-Temporal Action Detection的采样策略(包括slowfast和lowonly)
采样策略需要定义frame_interval和num_clips，这里有两种采样策略
uniform sampling和dense sampling。
dense sampling对frame_interval帧进行采样，最后得到num_clips帧。
uniform samplin将视频分为num_clips个部分，然后每个部分取一帧。
举例说明
假如现在有96帧[1, 96].
Dense strategy : 32x2x1 会选择第1, 3, 5, …, 63 frames.
Uniform strategy :1x1x8 将所有帧分为 [1, 12], [13, 24], [25, 36], [37, 48], …, [85, 96] 然后取第.1, 13, 25, …, 85 frames.