玩转3D视界（1）

3D视觉应用：

1、客流统计：
客流统计旨在既快又准的统计下方经过的人数。利用AI算法区分人和非人物体，例如背包、帽子等。潜在应用包括公共交通规划与管理，智能楼宇安全和大数据和商业地理等领域。
2、体积测量：
体积测量旨在快速准确地计算立方体物体的棱长与体积。利用降噪算法和滤波器实现精确测量。可以运用于AR/VR和物流行业。
3、跌倒检测：
跌倒检测旨在实时监测场景中是否发生人员跌倒事件。隐私保护监护可以保护老年人健康安全，同时降低护理人员需求压力。能够为养老院提供智能看护老人服务。
4、手势识别：
手势识别旨在快速鲁棒地识别出手势动作。利用抗运动模糊算法跟踪快速移动的手掌，识别准确率超过95%。潜在的应用方向包括人机交互、智能家居和智能辅助驾驶等领域。

第一章介绍

1、目前市面上常用的3D相机很多，根据测距原理不同可以分为三种，分别是双目立体相机、结构光相机和飞行时间（Time-of-Flight,TOF）相机。
2、常见的3D数据表示方法有很多，如点云、体素、多边形网格、深度图等，深度图的每一个像素记录的是物体距离相机镜头的实际距离值，而不是灰度值。体素可用于医学成像、美术设计等。
3、3D相机采集的数据必定会存在误差分为俩类：系统误差和非系统误差。采用滤波器消除误差。常见有空域滤波器和时域滤波器，空域滤波器包括高斯滤波、中值滤波、双边滤波等，时域滤波包括滑动平均滤波、自适应帧间滤波等。还有针对点云的滤波器如，体素滤波器、统计过滤器、半径过滤器等。
4、而数据的冗余需要通过数据压缩来解决，分为俩类：深度图的压缩和深度视频序列的压缩，
5、3D视觉应用介绍：
1）3D测量
2）3D重建
3）智能服务机器人
4）3D人体动作识别

第二章3D相机与开发平台

图1、光学测量方法的分类
1、双目相机由一组（2个）摄像头和计算机处理模块组成，双目测距法是由左右相机拍摄不同角度的场景，将其传输到计算机中，有计算机处理模块计算对应的视差，进而得到深度值的测距方法。
2、立体匹配方法是双目立体视觉中最困难也是最关键的步骤，可分为局部立体匹配算法、全局立体匹配算法和半全局立体匹配算法。局部立体匹配算法又称基于窗口或基于支持区域的立体匹配算法。
3、局部立体匹配算法适用于对匹配准确性要求不高的场景；全局立体匹配算法适用于对准确性要求很高的非实时系统；半全局立体匹配算法是目前商业软件中使用最多的立体匹配算法。
4、双目相机缺点：计算量大；对光照敏感；不适用于单调、缺乏纹理的场景
5、投影仪、相机和计算机系统构成了结构光3D视觉系统，结构光测距技术使用了三角测距原理
6、结构光法分为光点式结构光法、光条式结构光法和光面式结构光法
7、解决构建结构光3D视觉系统时需解决俩个重要问题是标定和匹配。标定是为了确定结构光相机系统的结构参数，匹配是为了确定投影图像与编码图案对应点的对应关系
8、结构光编码分为直接编码、时间编码和空间编码
9、时间编码适用于静态场景，空间编码适用于动态场景
10、TOF相机逐渐成为机器人导航、3D重建等领域的新宠
11、TOF相机的关键组成单元包括滤光片、镜头、主动光源、感光芯片与驱动控制电路等。
12、P-TOF相机：调制方式脉冲，测量方法简单，不需要计算振幅，测量精度较低，不考虑环境光，测量帧率较高，不能估算精确度。AMCW-TOF相机：调制方式连续波（正弦波、方波），测量方法较复杂，测量精度较高，测量帧率较低，可以估算精确度。
13、三种相机的比较
1）双目相机：结构简单，成本低，功耗低，适合远距离的测距
2）结构光相机：功耗低，分辨率高，室外环境表现较差，受强光影响，适用于近距离的场景，主要应用于手机或电脑前置摄像中，用于人脸识别、解锁、安全支付及对美颜进行细节补充。
3）TOF相机：精度高、测距范围大，强抗干扰性，可以在无光 环境中使用，体积小，分辨率低。
4）计算复杂度和实时性比较强——弱：TOF相机>结构光相机>双目相机

图2、三种3D相机的对比
14、3D相机的典型应用
1）双目相机的应用：工业生产的控制与检测、物体识别与测量、各种机器的自主导航及交互式娱乐，智能手机的双目拍摄，STEREOLABS推出的ZED立体相机快速重建大型室内和室外场景
2）结构光相机的应用：一般用于电脑或者手机的前置摄像，苹果手机Face ID使用的就是结构光技术，缺点工作距离短
3）TOF相机的应用：可以获取深度图、灰度图和3D点云信息，支持开发手势识别，物体测量，统计人数，客流分析。
4）室外场景中的SLAM可以利用双目相机，人脸识别解锁等近距离应用场景可以考虑结构光相机，中距离的手势识别、人流统计等选择TOF相机
5）相机参数也很重要，运动位姿匹配时需要较大的视角（FOV）,距离较远时TOF相机应使用低频调制信号，距离较近用高频信号，防止曝光应缩短积分时间。
15、DMAPP开发平台
16、SmartTOFViewer是一款可视化工具可以用来快速评估模组效果，模拟不同参数对显示效果的影响并确定最佳参数。主要功能如下：
1）设备选择、打开、关闭等
2）显示图像深度图、灰度图
3）配合PCLVIewer显示点云图
4）查看物体和模组摄像头间的距离
5）查看模组信息及工作状态
6）设置常用参数
7）设置滤波特性
8）设置运动模式
9）录像及回放录像
17、DMAPP平台功能为数据获取和处理、提供算法开发模块、数据共享模块和辅助应用化模块等，利用该平台可以直接发布样品和产品

第三章 3D数据表示方法

图3、四种目前主流的3D数据表示方法
1、点云：点云是3D空间中点的集合，每个点具有特定的位置信息（x,y,z）和其他属性（如RGB信息等）数量庞大的点如同云团一般聚拢在一起，构成了3D模型的数据。
2、体素：体素是量化成固定大小的可视化点云。点云可以在空间中的任何位置具有无限数量的点与浮点坐标，而体素具有固定大小和整数坐标。
3、三角网络：多边形网格由一组具有共享顶点的多边形面组成，以易于渲染的方式表示表面信息，广泛应用于计算机视觉。
4、深度图：深度图是一幅表征被拍摄物体到3D相机实际空间距离的图像。
5、复杂程度：深度图<点云<体素<三角网格。
6、深度图是表征场景中的物体与3D相机之间的空间距离的图像，某一像素的像素值表示物体上对应点相对于3D相机（视点）的距离。

一、点云

1、 围绕点云的技术主要包括：
1)点云获取——点云配准、智能扫描
2) 点云处理——法向估算、点云去噪、特征增强
3) 点云表示——点云渲染、骨架提取
4) 点云重构——静态建模、动态建模
2、点云获取的方式分为俩种：一种是通过3D建模软件构建3D模型，然后获取3D模型表面的点构建点云模型；另一种是利用传感器采集真实空间中物体表面的点，然后构建点云模型。基于3D模型获取的点云数据通常不包含噪声，而利用传感器采集的点云数据总是包含传感器自身的噪声，同时受到光照、物体表面等的影响，会出现数值失真。
3、点云数据可以直接获取，激光雷达获取的数据就是点云数据。
4、点云数据的显著特点：
1)离散型：点云不定义在某个区域内，也不能用函数进行拟合
2) 广泛性：点云广泛分布在空间内，遍历整个点云，建立所有点之间的关系几乎不可能
3) 灵活无序：将点云中点的存储顺序进行调换后，还是同一个点云
4) 数量不确定性：利用不同数量的点可以表示同一物体，点云依赖物体的几何信息，而不是数值关系
5) 旋转平移不变性：将点云整体旋转平移后，仍然表示原物体
5、点云数据分类：根据点云的完整性，可以分为部分点云和完整点云，根据点云的疏密，可以分为稀疏点云和稠密点云
6、部分点云指物体的部分表面点云，一般由传感器采集的单帧数据得到；完整点云既可以通过CAD模型生成的物体表面采样得到，也可以利用不完整点云拼接得到。
8、点云具有获取简单，易于存储，可视性强，操作方便等优点
9、应用：利用激光雷达获取的点云实现高精度SLAM算法，利用3D相机获取的点云实现精细的物体与场景的3D重建，利用点云数据实现物体的识别和分类

二、体素

1、体素是体积像素的简称常应用于3D成像、科学数据、医学视频等领域
2、体数据可以理解为在3D空间中对一种或多种物理属性的离散采样；表示形式为（x,y,z,v）,(x,y,z)表示采样点的3D位置空间坐标，v表示该点的物理属性，可以表示为颜色、密度、压力、速度，体数据常用于描述现实世界中的物体或与空间场相关的自然现象等，如核磁共振成像等
3、体素表示体数据的方式有俩种：一种方式是之前提到的将体素定义为中心点在采样点上的立方体，整个立方体的feature值等于采样点的feature值另一种方式是把体素定义为以八个相邻采样点为顶点的立体，立方体的feature值是变化的，体素内任一点的值可以用八个顶点采样值的三线性插值计算得到。
4、应用：
1)医学成像：生成3D器官模型，辅助诊断、分析，实现手术模拟等
2) 计算机视觉：作为神经网络的输入，其有序性的特点有利于特征的提取
3) 地质学：根据探测器测量的数据构建地层结构模型，辅助地质分析，在探索矿藏方面有较大帮助
4) 美术设计：利用体素搭建大型3D场景形成类似于像素风格的新兴没数思路

三、三角部分

1、三角部分除了能够构件表面，还能通过合并冗余的点云来减少数据存储空间，三角部分也是3D数据可视化常用的一种方式
/2、 三角部分法按照不同标准的分类：
1)按照部分对象类别：指定区域的部分和指定点集的部分
2) 按照部分对象维数：平面三角部分、3D三角部分和高维三角部分
3) 按照部分方法：拓扑分解法、节点连接法、基于栅格法和Delaunay三角部分
3、曲面的三角部分就是把曲面部分成一块块碎片，这些碎片要满足以下要求：
1)必须都是三角形
2) 曲面上的任意两个三角形最多有一条公共边，不能交叉
3) 要求任一三角形的顶点不能是相邻三角形的内点
4、Delaunay三角部分具有很多优异特性：
1)最接近：利用最近的三点形成三角形，且各线段（三角形的边）不想交
2) 唯一性：不论从区域何处开始构建，最终都将得到一致的结果
3) 最优性：由任意俩个相邻三角形形成的凸四边形，如果其对角线可以互换的话，那么俩个三角形六个内角中的最小角不会变大
4) 最规则：如果将三角网中的所有三角形的最小角进行升序排列，则在所有三角网中，Delaunay三角网的数值最大，这表示这些三角形是最接近正三角形的，是最规则的
5) 区域性：新增、删除、移动某一个顶点只会影响临近的三角形
6) 具有凸多边形的外壳：三角网最外层的边界形成一个凸多边形的外壳
5、3D空间下的Delaunay算法有分割归并法、逐点插入法和三角网增长法
6、分割归并法时间复杂度较低，但是递归操作需要较大的内存空间
7、逐点插入法实现比较简单，内存占用较少，但运行速度慢
8、将逐点插入法和分割合并法合成为一种算法，简称“合成法”，其步骤为：
1)将点集S以横坐标为主、纵坐标为辅，按升序排序，递归执行以下步骤
2) 如果S中的数据量大于给定的分割阈值，将S分为近似相等的俩个子集SL和SR，执行步骤（3）（4）（5），否则执行步骤（6）
3) 在SL和SR中用合成算法生成三角网
4) 找出连接SL和SR中俩个凸包的底线和顶线
5) 由底线至顶线，合并SL和SR中的俩个三角网
6) 生成基本三角网
9、生成基本三角网需要俩步：第一步，生成初始四面体网格（3D空间）；第二步，在初始四面体网格中插入剩余点，将凸包作为初始多边形，构建初始四面体网格

四、3D数据存储格式

1、 将数据写入二进制BIN文件，要按照写入时的格式进行读取，所以需要指定数据格式和一张图片大小
2、ONI是OpenNI提供的文件存储类型，ONI文件可以存储同步的RGB数据和深度图数据
3、3D打印文件3MF文件明显的优势：
1)可以描述模型材料
2) 可以设置颜色、纹理等信息，使模型更完整和生动；颜色材料使用规则自然渐变
4、3MF文件的数据要求如下：
1)网格必须是闭合的
2) 表面的最小单位为三角形
3) 表面的法线必须指向模型外侧
5、3MF文件的生成步骤：
1)创建对象指针
2) 设置三角网络
3) 设置网格材料
4) 将网格对象加入<建造>元素
5) 保存为3MF文件

第四章 3D数据处理

1、数据的误差从来源上可以分为俩类：系统误差和非系统误差
2、系统误差来源于相机的成像原理和内部结构，包括深度图畸变、积分时间误差、像素误差、温度相关误差和幅值相关误差等
1)深度图畸变：一般指2D平面误差，大多由光学镜头的畸变导致的图像点坐标偏移，最普通的是径向畸变
2) 积分时间误差：在一定条件下，相机的积分时间越长，积累的电荷就越多，信噪比也越高，就会导致较大的采样误差
3) 像素误差：指像素深度误差，是由TOF测距原理引起的测量深度值与物体实际深度之间的差异
4) 温度相关误差：一种是由环境温度引起的波动，另一种是由TOF相机持续工作引起的升温，所以尽可能选择合适的温度，不要让相机工作时间太长
5) 幅值相关误差：有一些点的光照条件不佳，反馈给相机传感器的信号幅值过小，造成深度图的显示噪点，通过设定信号幅值解决
3、非系统误差包括：多径误差、散射误差、运动模糊和随机误差，由外部原因引起
1)多径误差：产生原因为传感器对于像素深度的计算基于多个叠加的红外信号的，而非单一的红外信号，原因可能是镜面反射，或是多台TOF相机同时相对工作而产生干扰
2) 散射误差：通常是由被采集物体的材质和颜色引起的。黑色材质或特殊物体会吸收传感器发射的红外光，导致接收回的信号深度值缺失
3) 运动模糊：由相机或物体运动引起的误差
4) 随机误差：由TOF相机内部硬件的半导体特性导致的
4、数据处理，应用最广、功能最多的方法就是滤波啦
5、空域滤波往往应用于对单独的图片进行处理的场景，而时域滤波往往用来对视频或图像序列进行处理
6、空域滤波是对图像空间域信息进行处理的方法，通常用于对单个图像的给像素进行处理，简单的空域滤波方法包括高斯滤波、中值滤波及双边滤波等
7、高斯滤波：是一种根据高斯函数的形状来选择权值的线性平滑滤波器，其抑制正态分布的噪声效果较佳
8、中值滤波：用模板核算子覆盖区域内所有像素并对其进行排序，用中间的像素值更新当前像素的值
9、双边滤波：可以起到在去噪的同时保留图像细节的作用
10、时域滤波是一种常用于视频或者图像序列的滤波方法，包括滑动平均滤波、滑动中值滤波及在基础方法上改进的自适应帧间滤波
11、滑动平均滤波和滑动中值滤波：平均滤波选取连续若干帧深度图，进行累加并求平均值，中值滤波取队列中N帧图像的中值
12、自适应帧间滤波帧间滤波有一定的自适应性，加入了对像素移动的判断
13、点云滤波器与过滤器
14、体素滤波器：使用体素网格实现下采样，减少点的数量，同时保留点云的形状特征
15、统计过滤器：统计过滤器使用统计分析技术，从一个点云数据中移除测量噪声（离群点）
16、半径过滤器：以某点为中心画出一个半径为d的球，计算落在该球中点的数量，当数量大于给定阈值时，保留该点，否则剔除该点
17、直通过滤器：使用线结构光扫描的方式采集点云，物体必然沿z方向分布较广，但在x,y方向上的分布则处于有限范围内，此时可使用直通滤波器，确定点云在x方向或y方向上的范围，这样就可以较快去除离群点。
18、3D数据压缩
19、单帧深度图压缩算法：分区域压缩算法、残差编码压缩算法和近无损压缩算法
20、分区域压缩算法：通过一定的规则将整张图深度图分割为不想交且包含全部像素的小区域，根据每个小区域的特性进行编码，适合细节较少、容易分割的深度图
21、残差编码压缩算法：主要思想是利用串长和代表值来表示一串连续重复的值
22、近无损压缩算法：就是对距离值进行翻转编码，原来的大数值用小数表示，原来的小数值用大数值表示，在这个过程中，把相邻的比较大的数压缩为一个值
23、深度视频序列压缩算法：RGB视频压缩方式是H.264，H.264编解码流程主要包括帧内帧间预测、变换和反变换、量化和反量化、环路滤波、熵编码5个步骤，