Open3D 与 Point Cloud 处理

Yuezero_

已于 2024-01-23 22:24:05 修改

阅读量1.1k

点赞数 16

文章标签： transformer 深度学习人工智能具身智能计算机视觉

于 2024-01-23 21:19:56 首次发布

本文链接：https://blog.csdn.net/weixin_54338498/article/details/135786239

版权

点云基础

3D数据结构

点云（Point Cloud）：点云是由一组离散的点构成的三维数据集合，每个点都包含了坐标信息 (x, y, z) 、颜色 (RGB)、类别 (cls)、强度值等。存储格式：点云数据可以以多种格式存储，包括文本文件（txt、pts）、二进制文件（las、pcd）和PLY格式（一种常见的三维数据格式）等。这些格式可以保存点的坐标和其他属性信息。
Mesh（网格）：网格是由一组连接的三角形或四边形构成的表面模型，用于表示物体的外形。它由顶点、面和边组成，其中顶点描述了空间中的位置，面描述了网格的表面形状，边连接顶点和面。存储格式：常见的网格存储格式包括OBJ、STL和PLY等。OBJ格式是一种文本格式，可以保存网格的顶点坐标、法线、纹理坐标和面的连接关系。STL格式是一种二进制格式，主要保存网格的三角面片信息。PLY格式可以保存顶点属性、法线和面的连接关系。
数学模型：数学模型是使用数学公式和方程描述的几何形状或曲线。它们通常由参数化方程、隐式方程、其他几何描述生成。存储格式：数学模型可以使用多种格式存储，如IGS（Initial Graphics Exchange Specification）、PART（Part file）、IGES（Initial Graphics Exchange Specification）等。这些格式可以保存数学模型的几何参数和其他相关信息。

点云采集方法

激光扫描仪原理（三角测距）：
激光扫描仪使用三角测距原理来测量物体表面的距离。它发射一束激光光束，该光束会照射到物体表面上并被反射回来。激光扫描仪同时记录激光光束的发射位置和接收位置，以及接收到的激光信号的时间或强度。

利用发射和接收位置之间的已知距离以及激光信号的往返时间（或强度）可以使用三角测距原理计算出物体表面与激光扫描仪之间的距离。通过在不同的位置和角度上进行多次测量，可以获得物体表面的多个点的距离信息，从而构建出三维点云模型。
深度相机原理（TOF，Time of Flight）：
深度相机使用了TOF（Time of Flight）技术来获取物体表面的深度信息。TOF技术基于发送和接收光信号的往返时间来计算物体表面的距离。

深度相机通过发射一束调制的光信号（通常是红外光）并测量其返回时间来计算物体表面的距离。发送的光信号经过物体后被反射回相机，相机接收到反射的光信号后测量出其返回时间。根据光在真空中的传播速度，可以计算得出光信号从相机发射到物体表面并返回的时间。通过将时间与光速结合使用，可以计算出物体表面与深度相机之间的距离。

深度相机同时测量多个像素点的距离，从而生成物体表面的深度图像。
双目相机原理（双目视觉）：
双目相机由两个镜头组成，分别称为左眼和右眼。这种相机模拟了人类的双眼视觉系统，通过分析左右两个图像之间的差异来计算物体的深度。

左右两个镜头之间的距离称为基线，并且两个镜头具有略微不同的观察角度。当光线从物体表面入射到左右两个镜头时，它们会在图像上形成略微不同的投影。通过对左右两个图像进行匹配，比较不同像素点之间的位移或差异，可以计算出物体表面的深度。

双目相机通过分析左右两个图像之间的视差来计算深度，视差越大，物体距离相机越近。
光学多视角重建SFM原理：
光学多视角重建SFM（Structure from Motion）利用多个相机或图像来重建物体的三维形状。SFM基于两个主要原理：三角测量和运动估计。

在SFM中，多个相机或图像被用于捕捉物体的不同视角。通过在这些视角下对图像进行特征匹配，可以确定相机之间的对应关系，从而得到视差信息。利用这些视差信息以及相机的内外参数，可以使用三角测量原理计算得到物体表面上点的三维坐标。

此外，SFM还利用了相机的运动信息。通过观察相机在不同视角下的位置和方向的变化，可以估计相机的运动轨迹。结合相机的运动轨迹和特征匹配得到的三维点云信息，可以进一步优化三维重建结果。
结构光原理：
结构光是一种利用光投影和摄影技术来捕捉物体表面形状的方法。它使用一台投影仪将具有特定编码的光图案投射到物体表面上，并使用一台相机来捕捉投影后的图案。

投影仪会发射一个具有特殊编码的光图案，如条纹或格点图案。这些光图案在物体表面上产生投影，并被相机捕捉。物体表面形状的变化会导致投影图案的失真。