文章目录
PATs: Point Attention Transformers
论文:Modeling Point Clouds with Self-Attention and Gumbel Subset Sampling
2019CVPR,上海交大MoE实验室和华为诺亚方舟实验室
本文主要改进了PointNet++中的FPS的部分,使得选取的点更能处理外点,将down sampling的点选取在attention score大的点上。很形象的对比如下图:
接下来就介绍一下本文提出的两个模块。
GSA:Group Shuffle Attention
这一块内容主要就是自注意力机制,注意力机制的详细内容可以参考另一篇博客。
本文使用了Scaled Dot-Product attention(在上面的博客也提到了),具体的GSA的详见论文中的公式(7)(8)和(11)。
对于点x,对应的特征向量是y,通过y=GSA(f)的变换,得到了点的新的特征向量y。在GSA过程中,参考(7)和(8),仍然是使用f内部的信息,与MLP其实作用是