3D点云基础知识

什么是点云？

点云是某个坐标系下的点的数据集。点包含了丰富的信息，包括三维坐标 X，Y，Z、颜色、分类值、强度值、时间等等。点云在组成特点上分为两种，一种是有序点云，一种是无序点云。

• 有序点云：一般由深度图还原的点云，有序点云按照图方阵一行一行的，从左上角到右下角排列，当然其中有一些无效点。有序点云按顺序排列，可以很容易的找到它的相邻点信息。有序点云在某些处理的时候还是很便利的，但是很多情况下是无法获取有序点云的。

• 无序点云：点排列之间没有任何顺序，点的顺序交换后没有任何影响。是比较普遍的点云形式，有序点云也可看做无序点云来处理。

点云属性：

• 空间分辨率、点位精度、表面法向量等。距离，点密度，点在水平或者垂直方向的分布。
• 点云可以表达物体的空间轮廓和具体位置，我们能看到街道、房屋的形状，物体距离摄像机的距离也是可知的；其次，点云本身和视角无关，可以任意旋转，从不同角度和方向观察一个点云，而且不同的点云只要在同一个坐标系下就可以直接融合。

点云特性：

点云是一种非欧几里得数据结构。

• 无序性：排列顺序不影响结构。

• 近密远疏特性：扫描与视角不同导致。即稀疏性，在KITTI数据集中，如果把原始的激光雷达点云投影到对应的彩色图像上，大概只有3%的像素才有对应的雷达点。这种极强的稀疏性让基于点云的高层语义感知变得尤其困难。

• 非结构化数据：直接CNN有点难

• 点之间的交互：每个点不是独立的，而是与其周围的一些点共同蕴含了一些信息，因而模型应当能够抓住局部的 结构和局部之间的交互。

• 变换不变性：比如点云整体的旋转和平移不应该影响它的分类或者分割。

• 信息量有限：点云的数据结构就是一些三维空间的点坐标构成的点集，本质是对三维世界几何形状的低分辨率重采样，因此只能提供片面的几何信息。

点云的文件格式：

pts、LAS、PCD、.xyz 和. pcap 等。

（有些是网格mesh（只是增加了一种连接关系）不过问题不大，因为mesh可以通过泊松采样等方式转化成点云）对于单个点云，如果你使用np.loadtxt得到的实际上就是一个维度为 (num_points, num_channels)的张量，num_channels一般为3，表示点云的三维坐标。

• pts 点云文件格式是最简便的点云格式，直接按 XYZ 顺序存储点云数据， 可以是整型或者浮点型。

• LAS 是激光雷达数据（LiDAR），存储格式比 pts 复杂，旨在提供一种开放的格式标准，允许不同的硬件和软件提供商输出可互操作的统一格式。

其中 C：class(所属类)，F：flight(航线号)，T：time(GPS 时间)，I：intensity(回波强度)，R：return(第几次回波)，N：number of return(回波次数)，A：scan angle(扫描角)，RGB：red green blue(RGB 颜色值)。

• PCD 格式具有文件头，用于描绘点云的整体信息：定义数字的可读头、尺寸、点云的维数和数据类型；一种数据段，可以是 ASCII 码或二进制码。数据本体部分由点的笛卡尔坐标构成，文本模式下以空格做分隔符。

  PCD 存储格式是 PCL 库官方指定格式，典型的为点云量身定制的格式。优点是支持 n 维点类型扩展机制，能够更好地发挥 PCL 库的点云处理性能。文件格式有文本和二进制两种格式。

• .xyz 一种文本格式，前面 3 个数字表示点坐标，后面 3 个数字是点的法向量，数字间以空格分隔。

• .pcap 是一种通用的数据流格式，现在流行的 Velodyne 公司出品的激光雷达默认采集数据文件格式。它是一种二进制文件。

• obj是一种文本文件，通常用以“#”开头的注释行作为文件头，数据部分每一行的开头关键字代表该行数据所表示的几何和模型元素，以空格做数据分隔符

相应基础算法库对不同格式的支持：

• PCL（Point Cloud Library）库支持跨平台存储，可以在 Windows、Linux、macOS、iOS、Android 上部署。可应用于计算资源有限或者内存有限的应用场景，是一个大型跨平台开源 C++ 编程库，它实现了大量点云相关的通用算法和高效数据结构，其基于以下第三方库：Boost、Eigen、FLANN、VTK、CUDA、OpenNI、Qhull，实现点云相关的获取、滤波、分割、配准、检索、特征提取、识别、追踪、曲面重建、可视化等操作，非常方便移动端开发。
• VCG 库（Visulization and Computer Graphics Libary）是专门为处理三角网格而设计的，该库很大，且提供了许多先进的处理网格的功能，以及比较少的点云处理功能。
• CGAL（Computational Geometry Algorithms Library）计算几何算法库，设计目标是以 C++ 库的形式，提供方便、高效、可靠的几何算法，其实现了很多处理点云以及处理网格的算法。
• Open3D 是一个可以支持 3D 数据处理软件快速开发的开源库。支持快速开发处理 3D 数据的软件。Open3D 前端在 C++ 和 Python 中公开了一组精心选择的数据结构和算法。后端经过高度优化，并设置为并行化。Open3D 是从一开始就开发出来的，带有很少的、经过仔细考虑的依赖项。它可以在不同的平台上设置，并且可以从源代码进行最小的编译。代码干净，样式一致，并通过清晰的代码审查机制进行维护。在点云、网格、rgbd 数据上都有支持。

表示方法：

比较容易的处理方式为将其投影为二维图像或者转换为三维体素 (Voxel)，从而将无序的空间点转变为规则的数据排列；也可以使用原始点作为表示，不做任何变换，该方式的好处为最大可能保留所有原始信息。

体素或立体像素(voxel)，是体积像素(volume pixel)的简称。是于三维空间分区上的最小单位，应用于三维成像、科学数据与医学视频等领域。概念上类似二维空间的最小单位——像素。体素本身并不含有空间中位置的数据(即它们的坐标)，然而却可以从它们相对于其他体素的位置来推敲，意即它们所构成物体的数据结构中的位置

网格Mesh表示：网格通常由三角形（相对简单）、四边形或者其它的简单凸多边形组成，也可以看作是建立了局部连接关系的点，即图。因此可以使用图领域新兴的图卷积技术进行处理：包括基于谱的图卷积，和基于空间的图卷积。

点云深度模型需要解决的问题：

1. 如何从稀疏的点云找到高信息密度的表示,
2. 如何构建一个网络满足必要的限制如size-variance和permutation-invariance,
3. 如何以较低的时间和计算资源消耗处理大量数据。

参考文献：

1. VoxNet(IEEE/RSJ 2015) - 知乎 (zhihu.com)
2. 点云基础介绍（一）——三维点云-CSDN博客