你以为的attention机制只有m(2)和m(3)吗? 年轻;
mmdetection(2): DeformableConvNets(DCN)
mmdetection(3):Non-local Neural Networks
ok, 我们来分析一下,m(2)是啥,可变卷积,怎么搞的,增加偏移量啊。
好,这是根据位置关系来确定attention。
然后的m(3)呢。根据的使两个点的特征,这是根据特征搞的,
那这篇文章讲了个啥呢,膜拜大神,人家把所以的attention都综合了一下。整出这么个玩意,别小看这个啊,这可是精华,
q表示当前点索引,Zq表示q的内容,z表示查询点索引,x表示内容,那明显啊,A就表示映射函数啊,dcn中的双线性插值函数,non-local中的f函数,意思就是那些地方需要被关注,以及其特征值,然后综合一下就是当前点的特征值。
那么A有几种形式呢,四种,以下:
E1)query 内容特征和 key 内容特征;(E2)query 内容特征和 query-key 相对位置;(E3)仅 key 内容内容特征;(E4)仅 query-key 相对位置。
有没有发现,E2和dcn相似,E1和non-local相似啊。然后不啦不啦不啦----------一大堆比较。欧克,就这样,具体看论文把。代码我是看不懂了,能搞定的教教我啊