针对大场景点云分割算法来说,学习邻域局部特征是非常重要的一步,所以很多网络在编码完相对位置特征之后,都会利用特征去进行一个注意力的学习,更好的学习点云的局部特征,但是它也是指利用特征或者坐标分别去进行注意力的学习,然后利用各种方法区聚合特征,CSANet是利用特征和坐标的交叉注意力去学习特征,然后结合上下文信息的时候是利用一种前向传播的方法,融合不同尺度的点云特征,但是它采样的方法是最远点采样。
它整体的结构和大部分点云分割算法类似,都是编码层加解码层的结构,但是它结合山下文信息的时候,它是利用编码层的同尺度点云特征结合上一层的点云特征经过MF融合,与该解码的上一层点云特征结合得到该尺度的解码层特征。它的关键在于交叉注意力网络,该网络聚合的特征比较关键。
通过上图的CSA模块可以看到,它的输出就是Po和Fo,通过特征和坐标分别当作注意力去加权另一个,完成交叉注意力特征聚合。其中,上图的特征输入为搜索的特征进行一次类似特征增强的拼接。它里面的q,k,v都是输入投影出来的特征,我自己的理解是进行交叉注意力可以对特征学习进一步加强,因为原来的很多网络都是只利用特征作注意力。其中,一些特征定义如下:
MF模块有点类似于上述的CSA模块,绿色框里面是上一层得到的特征,黄色框是该尺度经过CSA的特征,然后它这里可以理解为一种自注意力加权,然后与上一层的解码层特征进行拼接,得到该解码层的输出,它的方法好像是前向传播融合特征。
从消融实验来看,它设计的CSA模块的作用和MF的作用还是有效果的。我感觉这篇文章的特色是利用的交叉注意力,不仅只利用特征作为注意力,它还利用坐标作为注意力。
【计算机视觉】简述对CSANet(交叉注意力网络)进行点云分割的理解
最新推荐文章于 2024-07-17 20:12:41 发布