论文阅读 DyCo3D: Robust Instance Segmentation of 3D Point Clouds through Dynamic Convolution

DyCo3D

提出了一种动态的、无建议的、数据驱动的方法，该方法生成适当的卷积核，以响应实例的性质

• 

通过收集共享相同语义类别并对几何质心有密切投票权的同质点来探索大的上下文。然后通过几个简单的卷积层对实例进行解码。

基于聚类的方式通过收集合并相同类别标签来生成实例建议，但是对超参数比较敏感，以及复杂的后续处理步骤影响泛化能力和鲁棒性。

主要贡献创新：

1，动态卷积进行三维实例分割

2，无提议方法具有更强的稳定性

3，轻量级transformer来扩大感受野

• 

结构组件：

1，稀疏卷积主干，输出三个分支，掩码分支，偏移预测分支以及语义分支

2，将质心预测以及语义分割作为输入的权重生成，对质心共享类别预测的同质点来输出实例感知位置嵌入特定类别掩码和卷积。

3，解码器，通过卷积进行解码，滤波器由权重生成构建。

其中动态卷积具有一定局限：

1，大量计算导致优化困难。

2，由于稀疏卷积，性能会受到有限的感受野限制。

因此需要进行改进应用在三维实例分割上。

Centroid Offset

其中质心偏移遵循VoteNet将点移动到实例相应质心，逐点预测，损失函数如下

• 

Pi是第i个点坐标，Ooff是第I项，ctr是相应实例几何质心，pi为指示函数。

Dynamic Weight Generator

建议对几何质心具有接近投票权并共享类别预测的同质点进行分组。然后，通过应用小型子网络进行大型上下文聚合，动态生成实例感知过滤器。

与传统方法不同，传统方法直接将聚类视为单独的实例提议，会严重对提议质量产生依赖，这里通过探索点空间分布并集成上下文来生成用于实例解码的过滤器。

如果满足以下条件，点 pj 可以与 pi 分组：(1) ljseg = liseg。 (2)‖pjctr − pictr‖2 <= r，其中 r 是预定义的搜索半径。由于每个聚类仅考虑一个特定类别，因此可以轻松从语义预测中获取聚类 Cz 的语义标签 lzC ∈ R。我们还将聚类 Cz 的几何质心标记为 Czctr ∈ R3，该几何质心计算为 Cz 中点的坐标的平均值。每个聚类包含一组分布在实例中的点，引入了大量上下文和丰富的几何信息。探索这些聚类并生成针对每个实例的特征来生成实例感知权重。

• 

Instance Decoder

直接在特征空间中附加位置嵌入，对于几何质心的第z个实例，第i个点f的pos位置嵌入计算如下：

• 

对于输入特征由pos以及mask来生成，整个解码器包含三个卷积层，内核大小为1*1，每一层都是用ReLU作为激活函数，假设mask的特征维度为8，意味着D=8，则Wc的参数总数，包含权重和偏差为177，计算如下：

• 

其中实例分割的损失函数定义为：

• 

总损失为：

• 

其中Lseg为语义分割，Lctr为质心监督，Lmask和Ldice是实例分割的两个损失向，权重都设置为1.0，推理过程中采用对实例二进制掩码进行NMS，IoU阈值为0.3。

消融实验

• 

不同半径r对实例分割性能研究

• 

在scannetV2验证集上mAP值

•