mmdetection(4):An Empirical Study of Spatial Attention Mechanisms in Deep Networks

你以为的attention机制只有m(2)和m(3)吗? 年轻;
mmdetection(2): DeformableConvNets(DCN)
mmdetection(3):Non-local Neural Networks

ok, 我们来分析一下,m(2)是啥,可变卷积,怎么搞的,增加偏移量啊。
好,这是根据位置关系来确定attention。
然后的m(3)呢。根据的使两个点的特征,这是根据特征搞的,
那这篇文章讲了个啥呢,膜拜大神,人家把所以的attention都综合了一下。整出这么个玩意,别小看这个啊,这可是精华,
q表示当前点索引,Zq表示q的内容,z表示查询点索引,x表示内容,那明显啊,A就表示映射函数啊,dcn中的双线性插值函数,non-local中的f函数,意思就是那些地方需要被关注,以及其特征值,然后综合一下就是当前点的特征值。
在这里插入图片描述
那么A有几种形式呢,四种,以下:
E1)query 内容特征和 key 内容特征;(E2)query 内容特征和 query-key 相对位置;(E3)仅 key 内容内容特征;(E4)仅 query-key 相对位置。

有没有发现,E2和dcn相似,E1和non-local相似啊。然后不啦不啦不啦----------一大堆比较。欧克,就这样,具体看论文把。代码我是看不懂了,能搞定的教教我啊

  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值