self-attention理解

在一篇讲解S3D的文章中,文章作者提到论文“在每个3x1x1卷积后加入了Self-attention模块”

Self-attention公式如下

公式代表的意思是

“只是个普通的时空attention模块,将feature map中所有channels进行平均池化,然后进行线性映射和非线性激活,来产生时空attention map,最后权值叠加回去原feature map”

其中,X表示输入attention模块的feature map

pool(X)表示将feature map中所有channels进行平均池化

Wpool(X) + b表示对池化结果使用linear层,即进行线性映射

σ(Wpool(X) + b)表示使用ReLU等层进行非线性激活,最后得到时空attention map

σ(Wpool(X) + b)⊙X表示将attention模块输出的额权值叠加(element-wise multiply)回原feature map

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值