将点云与二维图像相结合作为输入数据的裂纹点云上采样

Combination of Images and Point Clouds in a Generative Adversarial Network for Upsampling Crack Point Clouds（基于生成对抗网络的图像与点云结合来上采样裂纹点云）

• 1. 摘要(abstract)

  • 应用

    • 裂纹点云数据可用于裂纹检测、深度计算和裂纹分割等多种目的。

  • 作用

    • 对低密度点云进行上采样可以帮助提高上述任务的性能。

  • 目的

    • 在现有的从低分辨率点云输入中对点云进行上采样的方法的基础上，提高特征清晰度

  • 新方法

    • 提出了一种将低密度点云与相应的二维图像相结合作为输入数据进行低密度点云上采样的新方法。

  • 关键思想

    • 在训练和测试阶段同时利用二维图像和点云的特征来丰富点云。

  • 方法

    • 利用GAN框架将二维图像和点云结合起来

  • 实验结果

    • 实验结果表明，与以往的上采样方法相比，该方法具有更高的有效性

• 2. 关键词(key words)

  • 点云上采样

  • 生成对抗网络

  • 裂纹点云

  • 点云与图像的结合

  • 丰富点云

• 3. 介绍（introdution）

  • 研究背景和挑战

    • 裂纹检测的意义

      • 裂缝检测和分割对于维护民用建筑，如道路、桥梁和建筑物至关重要。

    • 挑战

      • 在检测复杂结构或薄裂纹时，二维裂纹图像不包含点云数据等三维数据的丰富信息。

      • 点云的低密度限制了良好检测所需的特征的可实现分辨率。点云数据的上采样提供了解决这一问题的可能性，但目前的上采样方法难以达到所需的保真度。

  • 方法和贡献

    • 新方法

      • 提出了一种将低分辨率点云和高分辨率二维图像融合生成高分辨率裂纹点云的新方法。

      • 提出了一种将低分辨率点云与二维图像相结合的点云上采样架构。

    • 主要贡献

      • 提出了一种基于GAN和迁移学习的新方法，该方法对上采样稀疏点云有效

      • 研究表明，二维图像可以丰富低分辨率点云，该架构的性能优于仅使用点云的架构。

      • 与现有技术点云上采样方法相比，提出的模型实现了卓越的性能。

      • 提出了一个新的混凝土裂纹点云数据集及其相应的图像，将提供给研究界

• 4.相关工作(related work)

  • 传统方法

    • 插值方法

      • 缺点：实验表明插值法带来的误差主要分布在断裂线周围，该方法可能不是有效的裂纹点云处理方法。

  • 基于卷积神经网络

    • CNN

      • 基本特点

        • 点云上采样通常由两部分组成，第一部分从点云提取特征，第二部分从特征开展重构点，并与地面真值点云对比优化输出。

      • 优点

        • 可用于上采样

      • 缺点

    • PU-NET

      • 基本特点

        • 使用了一个包含四个模块的网络架构：patch提取，点特征嵌入，特征扩展，坐标重建。

      • 优点

        • 既可以学习点云的局部特征，又可以学习点云的全局特征。可以显著改善点云上采样的结果。

      • 缺点

        • 该模型在高密度上采样结果中会产生伪影。

    • PU-GAN

      • 基本特点

        • 是一种用GAN框架对点云进行上采样的方法。

      • 优点

        • 与之前的方法相比，点云质量得到了提升。

      • 缺点

        • 数据主要是在合成扫描数据上实现的，而在真实点云上，该模型不能填补一些空白，上采样也不能产生很好的均匀性。

    • 多步上采样网络

      • 基本特点

        • 关键思想是利用多步patch的网络，patch的大小与当前步骤相适应。对点云进行多步上采样。

      • 优点

      • 缺点

        • 数据是在合成点云数据上进行，而不是真正的扫描数据。对地面真值数据分辨率要求很高。

    • 点云超分辨率

      • 基本特点

        • 使用对抗性残差网络对点云进行上采样。

      • 优点

        • 残差块可以有效地提供更好的性能和稳定的训练

      • 缺点

        • 不能填补空白或缺失的部分，对于非常小的裂缝结构也不有效。

  • 3D点云与2D图像结合

    • 低特征组合

      • 基本特点

        • 通过简单变换搜集到的底层特征与点云或者三维数据相结合。例如灰度像素等图像特征与点云的深度信息相结合，用于对点云上采样。将点云中位置的深度值分配给图像相对应的像素，然后利用当前正在处理的像素周围像素的局部熵，通过插值的方法创建上采样点云。

      • 缺点

        • 将各点的深度值与灰度图像数据得简单组合，可能会由于深度数据中梯度方向的不一致而导致混叠误差。

    • 高特征组合

      • 基本特点

        • [21]参考文献提出了一种有效的RGB数据与雷达点云的融合方法，将彩色图像特征与点云特征相结合，分割2.5D点云。将图像特征与三维数据相结合的思想用于物体重建。

  • 裂纹数据处理

    • 基本特点

      • 裂纹点云用于裂纹检测和分割，然而这些方法的有效性取决于点云的质量。

• 5.提出方法（Proposed method）

  • 目的

    • 旨在从稀疏点云以及对应的图像中创建高密度点云。要求输出的点云包含大量的点，并且分布均匀。

      • 第一部分

        • 图像与点云如何对齐和组合来成为GAN模型的输入数据。

      • 第二部分

        • GAN模型的训练，对低分辨率点云进行上采样。

  • 图像与点云的结合

    • 点像素-特征组合

      • 概念

        • 点云通常没有规则的结构，图像有规则的顺序，如果点云是2.5D点云，那么点云中的每个点都可以与图像中的一个像素匹配，图像没有关于物体深度的显式信息，但图像像素的强度包含了隐式深度信息。例如裂缝较暗的区域通常对应裂缝最深的部分。因此期望图像中的信息可以与点云信息相结合，作为一个额外的通道，附加通道可以是图像灰度值，也可以从图像其他特征创建。

      • 操作

        • 创建了一个4通道，点云（x,y,z）+图像灰度值。或者第4个通道可以换为索贝尔梯度特征，Gamma特征，伽马特征，高斯差分(DoG)特征。

      • 图像

    • 特征-特征组合

      • 概念

        • 使用2种不同的模型从点云和图像中提取特征。点云特征的提取等同于点像素组合中提取的特征，图像特征提取是通过前人提出的裂纹检测模型中提取的。 图像中特征为点云特征提供了额外有用的信息，例如裂纹边缘特征。

      • 图像

  • GAN模型训练

    • 生成模型

      • 数据特征提取

        • 特征提取从低分辨率点云中提取特征。每个特征由一个高维向量表示。所有高维向量组合在一起产生特征图PFeatures。PFeatures中的特征数等于低分辨率输入点云中的点数。

      • 特征扩展

        • 基于反卷积运算的特征扩展是将特征映射PFeatures扩展为一组具有更多特征的新特征映射PExpandedF特征的一种转换。PExpandedF特征中的特征数量与目标点云中的点数量相似。

      • 数据重建

        • 点重建是生成模型的最后一个阶段，它对PExpandedF特征进行回归和聚合，以构建具有给定比例的高分辨率点云。在这一部分中，我们使用最远点采样方法[39]，[40]来优化输出点云中点的均匀性。期望的输出点云是一个高密度的均匀点云。

      • 图像

    • 判别模型

      • 目的

        • 区分地面真点云和生成的高分辨率点云，因此它是一种分类模型。

      • 输入

        • 正样本

          • 地面真点云

        • 负样本

          • 生成的点云

      • 架构

        • 使用MLP[41]进行点云特征提取。MLP也被用于点云上采样[6]和点云分类[4]

      • 提高点云精度

        • 使用特征变换块来提高点云分类的精度[4]

      • 输出

        • 在最后一个激活层之前，使用最大池化层收集全局特征。判别模型的输出是一个决定，表明输入点云是真实的还是人工生成的点云。

      • 图像

    • 损失函数

      • 生成对抗网络损失函数

        • 生成器

        • 判别器

      • 均匀损失函数

        • 目的

          • 增加生成的点云中点分布的均匀性。

        • 要求输出点云具有全局和局部的一致性。

          • 为了优化全局均匀性，我们取了一些随机的点，从每个随机的点我们在下面的表面上生成一个区域(记为Ai)，然后优化每个区域上的点数量。

          • 为了优化每个小区域Ai的局部均匀性，我们优化了点到点的最近距离。

      • 重建损失函数

        • 目的

          • 促使生成的点在目标表面上。

        • 考虑Q为地面真理点云。那么Q的点数与假点云Q的点数相同。重建损失采用Earth Mover’s [43]的距离。

        • 公式

      • 组合

        • 通过最小化Lgan(G)对模型进行训练，Lgan(G)将对抗、均匀分布和重构损失项分别与权值ωgan、ωuni、ωrec相结合。

• 6.实验与结果（experiment and results）

  • 数据准备

    • 使用自己在实验室搜集的裂缝数据集

      • 点云

      • 每个点云对应的图像

    • 真实点云

      • 我们将原始的20个单个混凝土块扫描图分为近2000个用于训练的点云和200个用于测试的点云。每个分割点云包含4096个点和一个或多个裂缝。

    • 输入点云

      • 地面真实点云随机下采样到稀疏点云，每个稀疏点云包含512个点。我们的方法旨在对这些下采样点云进行8倍的上采样，以匹配原始点云的采样。

    • 图像对齐

      • 从原始图像和原始点云中，我们使用Meshlab[44]将图像与相应的点云对齐。对齐过程的输出是一个点云和它匹配的图像。对原始大点云进行分割得到的每个点云碎片，通过裁剪提取混凝土块预对齐图像的对应碎片。

    • 图像展示

  • 评价指标

    • 倒角距离（CD）

      • 评估两点云相似性的评估指标

    • 豪斯多夫距离(HD)

      • HD是从一个集合中的一个点到另一个集合中最接近的点的所有距离中最大的。被用来评估上采样点云的方法[6]

    • 均匀性计算

      • 计算点云表面属于等面积的点的数量的标准差

      • 对于每个生成的点云，我们随机抽取1000个点。然后从每个点Oj开始，我们计算由(Oj，半径)定义的圆内的点的数量。如果点云计算的点数的标准偏差较小，则点云具有较高的均匀性。我们用半径r = 0.4和r = 0.5两个值来评价点云的均匀性。

  • 实验结果

    • 均匀性

    • 距离

    • 上采样

    • 空白填补

      • 真实点云裂缝边缘有缺口

      • 真实点云裂缝边缘稀疏

  • 评估点云分辨率对点云分类的影响实验

    • 目的

      • 实现了Pointnet架构[4]，对低分辨率和高分辨率下的裂纹点云和非裂纹点云进行分类。

    • 数据

      • 正样本是包含裂纹点的点云，负样本不包含裂纹点。低分辨率点云包含512个点作为上采样模型的输入。包含4096个点的高分辨率点云为地面真点云。

    • 网络

      • Pointnet网络以一个点云作为输入，然后在两个mlp之间进行特征变换，然后通过最大池化层对点特征进行聚合。分类输出是裂纹点云和非裂纹点云两类的分数。

    • 结果

      • 我们使用精度(Pr)、召回率(Re)、F-score和准确性来评估分类模型。结果表明，高分辨率点云的分类效果优于低分辨率点云。与其他上采样方法相比，该方法生成的点云具有更好的分类效果。

  • 实验结论

    • “点-像素组合”是更好的组合方法。在“点像组合”选项中，点云与从图像中提取的DoG特征通道相结合是上采样的最佳组合。

    • 虽然有一些现有的工作将2D图像和3D数据结合起来用于其他应用，但没有将2D和3D数据结合起来用于上采样点云。我们提出了这种方法，并证明了比现有的点云上采样方法明显更好的结果。

    • 我们提出的方法还说明了图像和点云可以在低层和高层特征阶段结合。生成的高分辨率点云表明，先组合低层特征，再提取高层特征，比单独提取高层特征组合更有效。

    • 本文的实验生成了高分辨率、均匀性好的点云。我们使用Chamfer和Hausdorff标准距离度量来评估点云，与目前的技术方法相比，所提出的方法获得了更好的结果。在点云裂缝的检测方面，我们的方法对放大后的点云的分类效果优于其他方法。

    • 待解决

      • 该方法适合于二维图像和相关的2.5D点云。在本文中，我们没有研究图像和全三维点云的结合。由于难以在二维图像中获取必要的结构信息，使得对结构复杂的三维点云的扩展变得复杂。

• 7.结论（conclusion）

  • 一句话概括全文

    • 提出了一种将点云与二维图像相结合作为输入数据的裂纹点云上采样方法。

  • 使用GAN架构并以两种方式组合点云和图像

    • 将3D空间的点与2D空间的相应像素连接起来。

    • 将点云特征和从不同模型转移过来的图像特征进行拼接。

  • 点云和图像的结合可以提高非常低密度点云的上采样性能。

  • 本文的方法可以推广到其他2.5D点云数据集，并通过进一步的工作可以应用于更一般的3D数据集。