【点云系列】view-GCN: view-based Graph Convolutional Network for 3D Shape Analysis

1. 简介

论文题目：view-GCN: view-based Graph Convolutional Network for 3D Shape Analysis， CVPR2020
论文：
代码：

2. Motivation

不同视角下看不同物体可能是不同的。因而，不同视图图像的联系可能隐藏了3D物体的潜在信息，这将为3D物体形状识别提供有价值的信息。因而，作者设计了GCN来自动调差视图间的关系。

主要挑战：如何聚合多视图特征成为一个全局的3D形状描述。
传统方法：通过最大池化来聚合多视图特征，该方法是置换不变的，但忽略了视图之间的关系。
该方法：使用view-Graph来表示物体的3D形状，每一个视图对应图中一个节点。如图1所示。节点间的边由摄像机坐标的k近邻确定。在此基础上设计了一种图卷积神经网络view-GCN用于聚合多视图特征以学习全局形状描述子。

3. 思想

• 能够灵活建模多视图配置，如图4所示；

• 通过视图-图表示利用GCN聚合关于图节点关系聚合多视图特征；

  View-GCN是一个层次化的GCN架构，在越来越粗糙的视图上有多个层次。每层设计了一个局部图卷积操作 + 一个非局部消息传递操作，通过研究相邻图和远程成对视图之间的关系来聚合多视图特征。为使图粗化，提出了一种选择性视图抽样策略，通过视图选择器对有代表性的视图进行抽样。所有学习到的不同层次的特征被组合成一个全局形状描述子。
  
  图4：（a）由12个视图组成的圆形配置；（b）由20个视图组成的二十面体配置；

4. 算法

如图2所示，view-GCN包括三个部分：

• View-Graph 构建：节点表示视图特征，特征由主干网络提取；主干网络采用ResNet-18或ImageNet；
• View-GCN：在view-Graph上设计一个GCN分层地聚合多视图特征；
• 训练损失：用全局描述子用来形状识别；
  

4.1 view-Graph构建

view-graph：有向图$G$，邻接矩阵$S\in {\mathbb{R}}^{10}$可以表示为：

其中$g_{ij}$表示两视图的空间关系，$g_{ij}=[v_i,v_j,v_i-v_j,||v_i-v_j$