「论文阅读」CT-block：a novel local and global features extractor for point cloud

最新推荐文章于 2023-04-05 19:33:46 发布

小麋鹿跑了

最新推荐文章于 2023-04-05 19:33:46 发布

阅读量5.9k

点赞数

分类专栏：深度学习点云处理文章标签： transformer 深度学习计算机视觉

本文链接：https://blog.csdn.net/u013609289/article/details/123209081

版权

CT-block是一种创新的模块，结合卷积和Transformer分支，同时提取点云的局部和全局特征。它通过特征传输单元实现两分支间的相互引导，提升特征融合效果，适用于点云的分类和分割任务。

摘要由CSDN通过智能技术生成

卷积分支Convolution-branch

注意力分支Transformer-branch

特征传输单元Feature transmission element

Network structure

分类网络

分割网络

简介

提出了一种新的模块，可以同时提取和融合局部和全局特征，称为CT-BLOCK.

CT模块由两个分支组成，其中字母C代表卷积分支，字母T代表Transformer分支。卷积分支对分组的相邻点进行卷积以提取局部特征。同时，Transformer分支对整个点云进行偏移注意力（OA，也就是清华大学的PCT论文里提到的OA模块）处理，提取全局特征。通过CT-BLOCK中特征传输元素构建的桥接，局部和全局特征在学习过程中相互引导，有效融合。

PointNet甚至PointNet++等一些基于图形的方法构建了一个分层网络，以逐层提取点云的局部特征，但是这些方法不能有效地提取长距离的全局特征。Transformer在任意两个输入特征之间执行计算关系，无论这两个特征的位置在基础欧氏空间上有多远，因此transformer架构可以提取远距离全局特征。

此外，transformer架构以可并行和顺序无关的方式处理输入数据，适用于处理无序数据。因此，许多基于学习的点云方法将transformer用作特征提取器。

transformer架构是一种更为通用的特征抽取器，它缺乏局部先验，因此无法有效地提取局部特征。卷积运算对局部细节特征提取能力强，但对长距离全局特征提取能力弱，而变换运算对全局特征提取能力强，但对局部特征提取能力弱。如何同时有效地提取局部和全局特征对于更好地理解图像具有重要意义。

如Detr，首先使用CNN提取局部特征，然后将其输入Transformer以学习全局特征。在点云领域，PCT采用了上述思想[24]，首先从分组的相邻点中提取局部特征，然后将局部特征输入到基于偏移注意的Transformer模块中，以学习全局特征。然而，这种先提取局部特征再提取全局特征的零碎方法显然不是最优的，因为局部特征和全局特征不应该是独立的，它们的学习过程应该相互指导。如何同时提取和融合点云的局部和全局特征对理解点云具有重要意义。

ct-block由两个分支组成，字母C代表卷积分支，字母T代表变压器分支。卷积分支遵循PointNet++的设计来提取局部特征。Transformer分支采用偏移注意力设计，提取全局特征。如果ct块由两个互不干扰且独立的分支组成，则无法完成局部特征和全局特征学习的相互指导，无法有效融合。因此，我们在ct块中增加了两个特征传输元件。第一个特征传输单元向上采样卷积分支提取的局部信息并传递给变换分支，第二个特征传输单元向下采样卷积分支提取的全局信息并传递给卷积分支。通过特征传递元素，两个分支在提取特征时相互引导，有效地融合了学习到的特征。