点云的无序性_1.1 点云简介

1 点云的表示

点云可以表示成

的矩阵或者

的矩阵，

是点云的坐标，

是点云的其他信息，如颜色，法向量等。

2 点云数据来源

• Lidar 激光雷达
• RGB-D 深度相机
• CAD模型
• Structure from motion 从2D运动图像重建进行三维重建

3 点云的应用

机器人与自动驾驶

• 定位——SLAM，回环检测，配准
• 感知——目标检测，分类
• 重建——SfM，配准

电子商务

• 人脸识别/重建——FaceID
• 手势——Hololens
• 姿势——Kinect

4 点云表达优缺点

3D物体的其他表示方式

• Mesh 栅格化：表示复杂
• Voxel Grid 体素：空间冗余
• Octree 八叉树：使用复杂

点云的优势

• 直接的3D信息
• 在数学上表示十分简洁

点云处理的难点

• 稀疏：远处的物体的点云数很少
• 不规则：很难搜索临近点
• 纹理信息的缺失：三人成车——三人被识别成车hhh
• 无序性：深度学习的困难，顺序不同的矩阵是完全不同的输入
• 旋转不变性

5 课程大纲

传统方法——60%

• 优点
  • 可解释性——可以用数学去精准描述算法的实现，效果是可预见的
  • 可控的——我们知道如何去修改模型
• 缺点
  • 很难对语义进行建模
  • 用户难以理解

深度学习模型——40%

• 优点
  • 简单
  • 性能好
  • 数据驱动
• 缺点
  • 难以解释
  • 不可控——黑盒
  • 需要专门的硬件
  • 入门门槛低：不一定拼得过年轻人

6 代码常用工具

C++

• Point Cloud Library(PCL)
• Python Binding——pybind11
• 优化器——g2o，Ceres
• Eigen

Python

• numpy
• scipy
• Open3D
• Pytorch
• TensorFlow