【论文阅读】Tree Species Classification Using Ground-Based LiDAR Data byVarious Point Cloud Deep Learning

（基于各种点云深度学习方法的地面激光雷达数据树种分类）

摘要

树种信息是森林资源调查的重要因素，而光探测与测距(LiDAR)作为森林资源调查的新技术工具，可以快速获取树木的三维结构信息。特别是利用深度学习方法从单个树点云中快速准确地分类识别树种信息，是激光雷达技术在森林应用中的一个新的发展方向。在本研究中，首先对现场采集的移动激光扫描(MLS)数据进行预处理，提取单个树点云。结合非均匀网格和最远点采样两种下采样方法对点云数据进行处理，得到的样本数据更有利于深度学习模型提取分类特征。最后，采用四种不同类型的点云深度学习模型，包括点向多层感知器(MLP) (PointNet、PointNet++、PointMLP)、基于卷积(PointConv)、基于图(DGCNN)和基于注意力(PCT)模型，对8种树种的单个树点云进行分类和识别。结果表明，除PointNet外，所有模型的分类精度均超过0.90，其中PointConv模型对树种分类的分类精度最高。精简的PointMLP模型仍然可以达到较高的分类精度，而PCT模型在树种分类实验中没有达到很好的精度，可能是样本量小的原因。我们比较了不同类型点云深度学习模型在树种分类实验中的训练过程和最终分类准确率，进一步展示了深度学习技术在树种识别方面的优势，为相关研究和技术开发提供实验参考。

1 引言

        在目前的研究中，根据基于点的特征学习网络架构，点云深度学习方法可以分为基于点的多层感知器(MLP)、基于卷积(convolutional)、基于图(graph)和基于注意力(attention)的方法。

        目前用于单树点云树种分类研究的深度学习方法大多基于点向MLP。其他类型的点云深度学习方法很少用于树种分类研究。针对点云深度学习模型在典型样本点数方面的局限性，研究中使用的基于非均匀网格的下采样算法显示出准确提取单个植物三维形态的潜力。

        为了充分挖掘点云深度学习方法在单个树种分类方面的潜力，我们进行了以下实验。提出了一种结合非均匀网格和最远点采样方法的点云数据降采样策略。采用四种不同类型的点云深度学习方法，包括点向MLP、基于卷积的模型、基于图的模型和基于注意力的模型，对单个树点云进行树种分类和识别。我们的实验共纳入了PointNet、pointnet++、PointMLP、PointConv、DGCNN和点云变压器(PCT)等6个点云深度学习模型。

2 数据

2.1 处理数据

（1）去除点云数据中的噪声。采用高度阈值法去除明显高于和低于地面的噪声点，采用基于局部分布的算法去除部分杂散孤立点。

（2）使用布料模拟滤波(cloth simulation filtering, CSF)算法将原始点云数据分为地面点和植被点两类。为了从整个地块的点云中分割出每棵树的点云，我们基于地面点的高程信息对地块的点云进行归一化处理，使其与水平面平行。

（3）使用比较最短路径(CSP)算法从样本点云中剔除地面点并分割出每棵单独树的点云，该算法采用自下而上的方法检测区域内的每棵树。随后，我们对每棵树的点云数据进行了手工处理，剔除了一些被误分类的点，如地面和杂草。最后，我们得到了每棵树干净的点云数据。

2.2 数据集

根据ModelNet40数据集的文件组织，成功构建了用于树种分类的单个树点云数据集TS8，该数据集在点云深度学习研究中已被广泛使用。由于每个树种的树数不平衡，我们采用种内分层随机抽样的方法，随机选取每个树种的80%作为训练数据集，剩下的20%作为测试数据集。

2.3 研究工作流程

        使用提出的NGFPS方法（Methods Combined with Non-Uniform Grid and Farthest Point Sampling）对单个树点云进行下采样。然后使用各种深度学习模型对数据集进行分类训练。最后，获得了高精度的树种分类结果和最优模型超参数。

 3 方法

3.1 方法采用非均匀网格和最远点采样相结合的方法

        非均匀网格采样(NGS)方法与传统的基于网格/体素的方法的区别在于它可以从不同大小的网格中选择具有代表性的点。

NGS方法在点云采样前计算每个点的法向量，可以更好地保留3D物体的细节。NGS方法首先用于对齐多组点云，这些点云表示相同的物体，但使用不同的坐标系，以及用于三维点云表面重建。该方法可以有效地从密集的点云中过滤出描述物体形状的关键点，更有利于多组点云的相互匹配，可以很好地保留三维物体表面的细节。

        当前深度学习模型中使用的主要降采样方法是最远点采样(FPS)方法，该方法允许快速采样以获得包含指定数量点(N = 1024, 2048，…)的物体点云。使用FPS方法的主要原因之一是ModelNet40数据集由从常规计算机辅助设计(CAD)模型表面均匀采样的点云组成;但在实际操作中，采集到的LiDAR数据点云密度分布并不均匀，在对树种进行识别和分类时，需要充分保留代表物体细节的点。FPS是一种针对均匀密度点云的降采样方法，不能很好地保留树点云更详细的特征。在树种分类的研究中，需要使用NGS方法保留三维物体更详细的信息。然而，NGS方法无法准确获得点云深度学习模型所需的样本中包含的点数(N)。

        因此，在本实验中，首先使用NGS方法获得单个树点云中最接近n的点数，在获得足够细节保留的样本后，可以使用FPS方法统一单个树点云中的点数。（好输入） NGS算法可以在MATLAB中快速实现。

NGFPS:

        (1)使用NGS算法对对象进行下采样，并迭代k作为输入参数。k的最小值设为6，每次迭代k的值增加1;

        (2)对目标下采样后，当点个数满足N(k) < N时，停止迭代，保留N(k−1)的实验结果;

        (3)我们使用FPS算法将N(k−1)个点向下采样到指定的点数N。

使用NGFPS方法不仅可以更好地保留3D物体的细节，而且可以让我们获得满足点数N的数据集作为深度学习模型的输入.

3.2 六种考虑点云深度学习模型的模型结构可视化

多层感知器(mlp)是由感知器发展而来的最简单的深度网络。MLP是通过增加隐藏层和激活函数以及改变分类函数得到的非线性模型。常用的激活函数有sigmoid、tanh、ReLU等。softmax函数用于解决多分类问题。隐藏层的数量和每层的大小是它的主要超参数。

        由于点云数据的不规则性，传统的二维深度学习方法无法直接用于三维数据。PointNet是利用多个共享mlp直接处理无序点集的开创性工作，它通过对称函数实现排列不变性。PointNet使用多个MLP层来独立学习逐点特征，以及一个最大池化层来提取全局特征(见图a)。

        由于PointNet中每个点的特征是独立学习的，无法捕获度量空间点生成的局部结构，限制了其识别细粒度模式和推广到复杂场景的能力。PointNet++引入了一个分层特征学习范例，从每个点的邻域捕获精细的几何结构。由于能够获取三维物体不同尺度的局部特征信息，PointNet++已经成为开发和利用许多其他模型的基础。步骤：

(1) 使用FPS方法对输入各层中的点进行下采样。
        与随机抽样相比，FPS在相同数量的点下可以更好地覆盖整个点集。

(2) 使用球查询方法对采样数据进行分组，从而可以更好地在空间上泛化局部区域特征。输出为N ' × K × (d + C)，其中K表示每个查询球中包含的点的数量。

(3) 使用PointNet层学习分组数据的特征。

        PointMLP是一个深度剩余MLP网络，遵循PointNet和PointNet++的设计理念，使用更简单但更深入的网络架构。PointMLP使用预反馈残差MLP网络对MLP提取的局部特征进行分层聚合，而不需要任何细粒度的局部特征提取器。因此，该方法可以避免复杂的局部特征提取带来的大量计算量和连续的内存访问。引入了一个轻量级的几何仿射模块，将局部点自适应地转换为正态分布，进一步提高了模型的性能和泛化能力。模型结构如图c所示。

        PointConv是PointConv是三维连续卷积算子的蒙特卡罗近似的扩展。通过在MLP近似卷积滤波器中使用连续权函数和密度函数，PointConv能够将动态滤波器扩展到新的卷积操作。PointConv是一种替换不变的点云操作，可以使点云与卷积兼容。

        点云由于其无序和不规则的特性，在直接使用卷积处理方面存在困难。基于图的方法使用图来研究点之间的关系。Wang等人设计了DGCNN模型，并提出了一种新的神经网络模块EdgeConv，用于生成描述点与相邻点之间关系的边缘特征。它构造了一个局部图，它保留了点之间的关系。EdgeConv在网络的每一层动态构建一个图结构，以每个点为质心，对每个相邻点的边缘特征进行表征，然后对这些特征进行聚合，得到该点的新表示。

        基于注意力的方法如PCT和Point Transformer。注意模块是核心组件，它根据全局上下文为输入特征生成精炼的注意特征。注意允许模型通过计算动态权重来适应不同的数据。自注意(self-attention, SA)模块是核心组件，根据全局上下文生成精炼的注意特征作为其输入特征。自注意是一种计算数据序列中不同项之间语义亲和力的机制。变压器不关心输入数据的顺序。对于点云数据，变压器本身是排列不变的，特征学习是通过注意机制进行的。因此，它们被认为非常适合实现点云深度学习模型。PCT模型的总体结构和细节如图f所示。PCT模型编码器由一个输入嵌入模块和四个堆叠的注意模块组成。编码器首先将输入的3D点坐标嵌入到一个新的特征空间中。然后将嵌入的特征传递到四个堆叠的注意力模块中，这些模块用于学习每个点的特征。每个注意层的输入和输出维度相同，最后将所有注意层的特征进行聚合。为了更有效地提取全局特征，使用了两个聚合函数——最大池化(MP)和平均池化(AP)。

        大多数深度学习模型在从样本中提取特征后，使用聚合函数将重要特征集合在一起形成全局特征，然后使用softmax函数完成多分类任务。Zhou等[30]通过在网络中使用全局平均池化(GAP)提出了类激活图(CAM)。

         CAM用于指示图像的哪个部分负责不同网络中的分类结果。CAM将最后一个完全连接的层替换为GAP, GAP将其决定显示为“显著图”。这种改进的结构使我们能够有效地定位图像中的重要区域以进行语义预测。CAM是一种深度学习解释方法，它将训练网络信息(如梯度)向后传递，得到反映模型决策基础的结果，如每个样本贡献的热图，然后可用于解释深度学习模型[47]。

4  结果 

4.1 NGFPS降采样方法的效果分析

        使用PointNet++模型对FPS和NGFPS方法的样本数据进行了深度学习训练和测试实验。我们在测试数据集上记录了FPS和NGFPS方法的模型评估指标。所有这些结果如图所示。从图中可以看出，使用NGFPS方法的结果中，所有模型评价指标都是最优的。

 4.2 基于六种深度学习方法的树种分类精度评价

（1）训练过程中的精度变化：

（2）树种分类的精确性：

        总结了所有模型在训练集和测试集上的最终分类结果，并提供了表中所有模型的评估指标。如表中所示，PointNet对所有结果具有最低的评估指标。在测试集的结果评估中，PointConv模型在所有评估度量中具有最高的值。作为最近提出的最先进的(SOTA)逐点MLP方法，PointMLP在测试集中的所有分类评估指标中排名第二。所有模型在测试数据集上的分类结果的混淆矩阵如图所示，与表的结果相印证。

 （-2）所有模型在测试集上的分类结果的混淆矩阵：

 在机器学习中,混淆矩阵是一个误差矩阵, 常用来可视化地评估监督学习算法的性能

 5 讨论

————————————

         PointNet模型的分类精度较差。—— 这是因为PointNet只考虑样本的全局特征，而忽略了局部特征。在三维物体分类研究中，树木通常被归为一类，因为它们的形状特征非常相似。在区分不同树种时，局部细节特征是分类所必需的关键信息。PointNet模型不能捕获由度量空间点生成的局部结构，因此限制了它识别细粒度模式的能力。其他5种方法均能提取出三维物体的局部特征信息，分类精度较高。

        PointConv模型实现了最高的分类精度，并且需要更少的训练时间。  —— 在二维图像中，卷积神经网络通过显著提高几乎所有视觉任务的结果。我们的实验证明了基于卷积的点云深度学习模型在3D物体分类任务中的可扩展性。具有局部信息提取能力的三维卷积深度学习方法可以成功捕获树的结构特征进行分类和识别。

        在树种分类方面，PointMLP模型的分类精度仅次于PointConv模型。这证实了Ma等[24]提出的现有特征提取器已经可以很好地描述三维物体的局部几何特征。不再需要设计更复杂的设计来进一步提高性能。这说明我们需要重新思考和重新设计局部特征提取算法，以便为点云数据分析提供简单的模型结构。PointMLP-elite模型的实验结果表明，简单的深度学习模型结构仍然可以获得良好的分类精度。

        PCT模型在树种分类实验中没有达到最优的分类精度。变压器不使用循环神经层，但注意机制，具有高度的并行性。然而，注意机制对整个模型的假设较少，这意味着变压器模型具有较少的可调参数，这导致需要更多的数据和更大的模型来训练，以达到与CNN相同的效果。在本实验中，由于用于深度学习模型训练的样本相对较少，最终的分类准确率相对较低。

—————————————

我们的实验仍然存在一些缺陷，需要在未来加以解决。

        由于训练样例数量较少，目前很有前途的深度学习框架transformer在本研究中并没有表现出其优势。在未来的相关工作中，我们希望通过将数据量扩展到尽可能多的样本，拓宽变压器模型在点云深度学习中的应用。与遥感产品的真实性测试类似，我们必须在利用真实性测试提高模型准确性的同时，降低训练样本的容错性。有人提出可以使用MLP或更简单的架构来训练非常高精度的模型;然而，我们发现基于点向mlp的方法的训练时间高于其他类型的方法。现阶段使用的深度学习模型的可扩展性必须通过各种实验进一步证明，因为目前学者们设计和开发的方法是基于计算机视觉领域常见的几个数据集提出的。在这种背景下，未来肯定会出现更多的体系结构，并扩展到更多的研究领域。

6 结论

        深度学习方法被证明能够非常准确地识别单个树点云物种。NGFPS方法结合了非均匀网格和最远点采样方法，可以更好地保留三维物体的细节和结构信息，为深度学习模型准确识别不同树种的特征提供准确的数据输入。所有的深度学习模型都是根据局部和全局特征对分类对象进行广义化。特别是，基于卷积的PointConv模型证明了其在3D对象分类方面的优越性能。此外，深度学习算法不需要比现在更复杂，因为轻量级的PointMLP-精英模型比PointMLP具有独特的优势。PointNet++模型是基于点的深度学习方法的基础模型，在树种分类研究中仍然具有较高的分类精度。点云深度学习模型不断发展，深度学习技术的潜力将不断被发掘。将深度学习模型用于单个树种分类的成功实践提供了一种新的解决方案，允许更有效的森林资源调查。