本文深入解读SlowFast网络结构，它通过慢速和快速路径分别处理环境信息和动作信息，减少了计算复杂度，提高了实时处理能力。在慢路径上，16帧采样1帧，侧重空间语义；快路径则2帧采样1帧，专注捕捉精细运动。通过特征融合，尤其是使用3D卷积进行时间维度特征提取，提升了网络性能。实验表明，特定的3D卷积融合方式效果最佳。
场景:动作在变，环境不变
需要解决的问题:如何获取动作信息和环境信息？
对于环境信息，我们可以取视频中的某一帧出来，利用卷积等方式提取特征，即可获取环境信息。对于动作信息，我们可以采样出视频中的包含时间信息的图像序列，通过3D卷积等方式提取特征。
但是，我们需要考虑一个问题，即速度，假如我们对每一帧进行处理，网络复杂度比较大，无法满足实时处理的需求。但是，对于一个动作，虽然是一个连续的过程，我们也可以通过有间隔的采样去表示这个动作。这样就能够减少大量的运算。
Slow Fast具有两条路径，(i)一个缓慢的路径，在低帧率下运行，以捕
241
3828
1万+
4339
1182
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
超级会员免费看
订阅专栏 解锁全文
扫一扫
