点云深度学习系列博客(三): 多尺度特征分析

 图1. 多尺度特征分析网络结构图

目录

前言

简介

方法实现

实验结果

总结

Reference

---

前言

最近做深度学习研究，发现在视觉任务中，使用多尺度特征建立对图像的特征描述，大概率能够得到好的结果。自然地，如果能把多尺度特征推广到点云分析的任务中，直观感觉应该也能够获得性能提升。正好最近researchgate推给我一篇论文[1]，就是基于该想法提出了一个网络实现。今天就来跟大家一起学习下这篇文章，看一看如何利用多尺度特征提升点云分析任务的性能。

---

简介

具体来说，多尺度特征及其空间分布可以看作是对应于不同几何显著性水平的独立特征。这些特征提取自多个并行的branch，并实现分级组合。基于此，提出的模型生成一个形状表示，包含了丰富的局部特征以及他们之间的空间关系。更进一步，基于MLP，提出的结构简洁，高效，在分类与分割任务中能够获得不错的结果。受到工作[2]的启发，多尺度特征分析网络基于一个lightweight结构，应用独立的分支去提取不同尺度的局部特征，并融合全局特征，以获得多级特征表示，以直接表示形状信息。

本文的贡献可以归纳为：

1）考虑全局坐标与局部特征的关联关系，并表示为多尺度特征；

2）设计了一个轻量网络结构以学习多尺度特征；

3）使用snapshot ensemble[3]来提升性能。

---

方法实现

特征提取，一个无序点云的每一个点能够被表示为一个(d+C)-dim的向量，d为坐标，C为其他特征，如法线或RGB数值。在我们的工作中，我们只提取每一个点的坐标作为输入。

多尺度局部特征，基于一个多路并行分支结构实现特征提取。其实现基本类似于PointNet++中的min-PointNet。特征提取过程如图2所示。

  图2. 多尺度特征提取

这里作者给出了一个单尺度与多尺度特征在不同点数的点云上所获得的识别精度：

Snapshot Ensemble，是一个加速策略，用以在一次训练中获得一批局部次优模型。

网络结构，包含四个部分：多尺度局部特征模块；全局分布特征模块；融合模块；应用模块。多尺度局部特征模块已经在上面介绍过。全局分布特征模块我的理解就是PointNet。融合模块将每一个尺度的局部特征与全局特征融合，进行平均，并最后进行最大池化，以输出多尺度特征。原文描述输出的特征已经具有形状语义。

注：这里我觉得做平均有点奇怪。似乎找不到合理的支撑。哪怕是再做一步特征融合，从三个N*1024直接拼成一个N*3072的特征，然后做池化，我觉得都会更合理一点。

---

实验结果

基于ModelNet与shapeNet，在分类分割问题上与主流方法的对比结果：

一些分割结果示意图： 

图3. 语义分割结果图

---

总结

总体来说，这篇文章缺少原理性描述，严谨程度一般。尤其是在多尺度特征提取与网络结构设计这两部分，作为文章的主干，缺少对于网络结构设计思路的详细介绍。不过该文章所提出的多尺度特征，确实顺应了目前深度学习特征分析的发展趋势。因此，该文涉及网络结构的一些内容，可以作为设计点云深度网络的参考。

---

Reference

[1] Zheng Q, Sun J. Effective Point Cloud Analysis Using Multi-Scale Features[J]. Sensors, 2021, 21(16): 5574.

[2] Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2015: 1-9.

[3] Huang, G.; Li, Y.; Pleiss, G.; Liu, Z.; Hopcroft, J.E.; Weinberger, K.Q. Snapshot Ensembles: Train 1, get M for free. arXiv 2017,arXiv:1704.00109.