目录
摘要
我们在网络设计中采用形状上下文的概念作为构建块,开发了一种新的表示方法。由此产生的模型称为ShapeContextNet,它由一个层次结构组成,其中的模块不依赖于固定的网格,同时仍具有类似于卷积神经网络的特性——能够捕获和传播对象部分信息。
此外,从基于自我注意的模型中得到启发,将自注意力应用到点云。
Shape Context Net是一种端到端模型,可应用于一般的点云分类和分割问题。

图1:三维中的形状上下文内核来捕捉空间信息
引言
我们的论文将重点放在开发一种用于点云分类的深度学习体系结构上,该体系结构将形状上下文shape context的经典思想与深度神经网络相结合。我们将算法命名为shapecontextnet (SCN)。
我们构建了形状上下文的层次,以解释通过端到端过程学习的层次结构中的局部和全局上下文信息。为了将局部形状上下文描述符整合到神经网络中,我们将形状上下文块分解为三个关键组成部分,即选择、聚合和转换。
对于点云{p1, p2,…, pi,…, pN},所有n−1点的集合形成了描述以pi为中心的形状信息的丰富上下文。我们用log-polar空间中的分布式容器来设计形状上下文内核,如图2所示,这是受到shape上下文描述符的启发。
选择操作决定了一组相邻点,并定义了相邻点的分组。
聚合操作(如直方图或池)构建了一个健壮的描述符,用于捕获相对位置上的分布。
转换操作通过融合来自不同相邻点或组的特征,将描述符投射到高维特征空间。与标准CNN一样,SCN通过分层传播局部零件信息,获取丰富的局部和全局形状信息。
同时作者还受到注意力的启发,在一个有监督的学习环境中,将自我注意的想法与形状背景联系起来。自注意将选择和聚合过程结合成一个单一的软对齐操作。由此产生的模型具有形状上下文的属性,是一个端到端可训练的架构,不需要手动选择bins,我们将其称之为Attentional Shape ContextNet(A-SCN)。
我们将SCN和A-SCN应用于三维点形状分类和分割数据集[38,42],并在PointNet[6]模型上观察改进后的结果。
方法
形状上下文Shape Context描述子回顾
我们首先简要描述了经典的形状上下文描述符,它是在一个开创性的二维形状匹配和识别工作[3]中引入的。[3]的一个主要贡献是设计了具有空间非均匀单元的形状上下文描述符。集合中每个点的邻域信息是通过计算落在每个单元格内的邻域点的数量来获取的。因此,每个点的形状描述符是一个特征向量(直方图),其维数与单元格的数量相同,每个特征维数描述了每个单元格内的点数(归一化)。形状上下文描述符使用高维向量(直方图)编码丰富的上下文形状信息,它特别适合于匹配和识别散点形式的对象。对于给定点集中的每个点,形状上下文计算相邻点的相对坐标的粗直方图。

形状上下文使用对数极坐标系统来设计bins。图3显示了在我们的方法中使用的基本2D形状上下文描述符(注意,我们将中心单元格变大,这与原始形状上下文[3]设计略有不同,

本文介绍了一种结合形状上下文概念与深度学习的新型网络——ShapeContextNet(SCN)。SCN利用形状上下文描述符构建层次结构,能捕获和传播点云对象的局部和全局信息。受自我注意模型启发,提出了Attentional ShapeContextNet(A-SCN),在不需要预先定义bins的情况下,通过学习软对齐操作来捕获相对位置信息。实验表明,SCN在点云分类任务中表现优于PointNet,验证了形状上下文的有效性。
最低0.47元/天 解锁文章
1317

被折叠的 条评论
为什么被折叠?



