2021- (让2D CNN具有短期编码的能力)用于实时暴力识别的高效时空建模方法

Efficient Spatio-Temporal Modeling Methods for Real-Time Violence Recognition
IEEE Access的一篇文章,其模型在RWF-2000数据集获得了92%的准确率,作者提出了轻量级的空间注意模块和时间注意模块,还有一个Frame-grouping方法,可以与传统的二维卷积神经网络(2D CNNs)相结合,该方法是本文的亮点,作者通过消融实验证明了Frame-grouping方法获得的提升最大,仅使用Frame-grouping都可以在RWF-2000数据集获得88%的准确率,而且Frame-grouping还降低了计算量,更有利于部署在硬件端。下图为整个模型的流程图:
在这里插入图片描述
空间注意力MSM模块利用连续帧的差异,捕捉来自运动边界的特征地图的显著区域。时间注意力T-SE可以地突出与目标事件相关的时间段。Frame-grouping将RGB的通道进行平均化,并将三个连续的通道平均化的帧作为CNN的输入。

空间注意力:MSM

MSM可以有效的突出移动的对象,MSM计算出来的运动特征,通过扩张运动边界 便得到了注意力图,先求出两帧的欧几里得距离xt和xt+1,按下图公式求得移动物体的边界:

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值