【点云系列】view-GCN: view-based Graph Convolutional Network for 3D Shape Analysis

1. 简介

论文题目:view-GCN: view-based Graph Convolutional Network for 3D Shape Analysis, CVPR2020
论文:
代码:

2. Motivation

不同视角下看不同物体可能是不同的。因而,不同视图图像的联系可能隐藏了3D物体的潜在信息,这将为3D物体形状识别提供有价值的信息。因而,作者设计了GCN来自动调差视图间的关系。
在这里插入图片描述
主要挑战:如何聚合多视图特征成为一个全局的3D形状描述。
传统方法:通过最大池化来聚合多视图特征,该方法是置换不变的,但忽略了视图之间的关系。
该方法:使用view-Graph来表示物体的3D形状,每一个视图对应图中一个节点。如图1所示。节点间的由摄像机坐标的k近邻确定。在此基础上设计了一种图卷积神经网络view-GCN用于聚合多视图特征以学习全局形状描述子。
在这里插入图片描述

3. 思想

  • 能够灵活建模多视图配置,如图4所示;

  • 通过视图-图表示利用GCN聚合关于图节点关系聚合多视图特征;

    View-GCN是一个层次化的GCN架构,在越来越粗糙的视图上有多个层次。每层设计了一个局部图卷积操作 + 一个非局部消息传递操作,通过研究相邻图和远程成对视图之间的关系来聚合多视图特征。为使图粗化,提出了一种选择性视图抽样策略,通过视图选择器有代表性的视图进行抽样。所有学习到的不同层次的特征被组合成一个全局形状描述子。
    在这里插入图片描述
    图4:(a)由12个视图组成的圆形配置;(b)由20个视图组成的二十面体配置;

4. 算法

如图2所示,view-GCN包括三个部分:

  • View-Graph 构建:节点表示视图特征,特征由主干网络提取;主干网络采用ResNet-18或ImageNet;
  • View-GCN:在view-Graph上设计一个GCN分层地聚合多视图特征;
  • 训练损失:用全局描述子用来形状识别;
    在这里插入图片描述

4.1 view-Graph构建

view-graph:有向图 G G G,邻接矩阵 S ∈ R 10 S\in \mathbb{R}^{10} SR10可以表示为:
在这里插入图片描述
其中 g i j g_{ij} gij表示两视图的空间关系, g i j = [ v i , v j , v i − v j , ∣ ∣ v i − v j ∣ ∣ 2 ∈ R 10 ] g_{ij}=[v_i, v_j, v_i-v_j,||v_i-v_j||_2\in \mathbb{R}^{10}] gij=[vi,vj,vivj,viv

  • 2
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值