RGB相机、深度相机以及LiDAR成像原理

RGB相机成像原理

相机结构和原理（入门简版）知乎
摄像机模型数学推导

相机结构

成像原理

大名鼎鼎的“拜尔滤镜”

CMOS滤镜排列

像素尺寸、大小关系

景深

景深原理

卷帘相机（rolling shutter）
卷帘快门（Rolling Shutter）与全局快门（Global Shutter）的区别

深度相机成像原理

主流的深度相机一般分为以下几种：飞行时间法（ToF）、结构光法、双目立体视觉法

ToF系统综述

Kinect相机原理
Azure Kinect DK 深度相机实现调幅连续波 (AMCW) 时差测距 (ToF) 原理。 该相机将近红外 (NIR) 频谱中的调制光投射到场景中。 然后，它会记录光线从相机传播到场景，然后从场景返回到相机所花费的间接时间测量值。
处理这些测量值可以生成深度图。 深度图是图像每个像素的一组 Z 坐标值，以毫米为单位。
连同深度图一起，我们还可以获得所谓的清晰 IR 读数。 清晰 IR 读数中的像素值与从场景返回的光线量成正比。 图像类似于普通的 IR 图像。 下图显示了示例深度图（左）的对应的清晰 IR 图像（右）。


ToF测量法



因为单个光脉冲的持续时间非常短，此过程会重复几千次，直到达到曝光时间。然后感光传感器中的值会被读出，实际距离可以根据这些值来计算。

记光的速度为c，tp为光脉冲的持续时间， S0表示较早的快门收集的电荷， S1表示延迟的快门收集的电荷，那么距离d可以由如下公式计算：
$$d=\frac{c}{2}\times t_p\times \frac{S_1}{S_0+S_1}$$
最小的可测量距离是：在较早的快门期间S0中收集了所有的电荷，而在延迟的快门期间S1没有收集到电荷，即S1 = 0。代入公式会得出最小可测量距离d=0。
最大的可测量的距离是：在S1中收集了所有电荷，而在S0中根本没有收集到电荷。然后，该公式得出d= 0.5 x c × tp。因此最大可测量距离是通过光脉冲宽度来确定的。例如，tp = 50 ns，代入上式，得到最大测量距离d = 7.5m。

连续波调制
实际应用中，通常采用的是正弦波调制。由于接收端和发射端正弦波的相位偏移和物体距离摄像头的距离成正比(见后面推导)，因此可以利用相位偏移来测量距离。

连续波调制的测量原理相对脉冲调制来说复杂一些，我们以最常用的连续正弦波调制来推导一下测量的原理。

连续正弦波调制测量方法示意图：

连续正弦波调制测量方法，具体的推导过程如下。序号1-9对应下图的公式1-9。

1. 假设发射的正弦信号s(t)振幅是a，调制频率是f
2. 经过时延 △t后接收到的信号为接收r(t)，衰减后的振幅为A，强度偏移（由环境光引起）为B
3. 四个采样时间间隔相等，均为T/4
4. 根据上述采样时间可以列出四个方程组
5. 从而可以计算出发射和接收的正弦信号的相位偏移△φ
6. 据此可以根据（6）中公式计算物体和深度相机的距离d
7. 接收信号的衰减后的振幅A的计算结果
8. 接收信号强度偏移B的计算结果，反映了环境光
9. A, B的值间接的反应了深度的测量精度，深度测量方差可以用公式9近似表示。
   
   

Azure Kinect DK

LiDAR工作原理

[科普]激光雷达LIDAR工作原理

测距
LiDAR的首要工作就是测距，探测是在测距的基础上进行的。

时间测距
LiDAR是利用发射和接收激光脉冲信号的时间差来实现对被测目标的距离测量，测距公式为：
$$R=\frac{c\times t}{2}$$
其中R是测量距离，c是光速，t是激光信号往返的时间差。
时间获取的方法主要脉冲法和相位法。
**脉冲法（time of flight, TOF）**就是利用被测目标对激光脉冲的漫反射作用，通过接收和发射端的计时，来获取时间差。这种方法容易受到脉冲宽度和计数器时间分辨率的影响，测距很短的情况下，一个微小的时间偏差对于测距精度影响都很大，所以这种测距方法精度不是很高，但是工作方式简单，效率高，适合于精度要求不高的场景。
相位法（phase difference），通过测量连续的调制波在待测距离上往返传播一次所产生的相位差，间接测定激光信号所传播的时间。相位法测距是根据波的周期性进行测距的，所以这里很重要的一点就是如何获取光波的整周期数，一般来说相位法测距精度可达到毫米级，优于脉冲法。

三角测距
LiDAR中另外一种常见的测距方式为三角测量法（triangulation principle）。这种测距方法的LiDAR和时间测距法LiDAR在结构上有一些差别，这种LiDAR内部包含CMOS元件，根据上下两个三角形相似原理计算距离：
$$\frac{f}{w}=\frac{V}{D},V=S\ast sin\alpha ,S=\frac{f\ast D}{w\ast sin\alpha }$$

探测
探测即探测物体在特定坐标系的坐标值。根据LiDAR测量的距离S 、激光脉冲的竖直扫描角φ、 水平扫描角Φ，使用极坐标法可以得到物体的坐标：

关于TOF为什么不能和RGB相机融合

智能手机双摄像头原理解析：RGB +Depth
TOF相机采用主动光探测，通常包括以下几个部分：
1、照射单元
照射单元需要对光源进行脉冲调制之后再进行发射，调制的光脉冲频率可以高达100MHz。因此，在图像拍摄过程中，光源会打开和关闭几千次。各个光脉冲只有几纳秒的时长。相机的曝光时间参数决定了每次成像的脉冲数。
要实现精确测量，必须精确地控制光脉冲，使其具有完全相同的持续时间、上升时间和下降时间。因为即使很小的只是一纳秒的偏差即可产生高达15 c m的距离测量误差。
如此高的调制频率和精度只有采用精良的LED或激光二极管才能实现。
一般照射光源都是采用人眼不可见的红外光源。
曝光时间不一样！！！
2、光学透镜
用于汇聚反射光线，在光学传感器上成像。不过与普通光学镜头不同的是这里需要加一个带通滤光片来保证只有与照明光源波长相同的光才能进入。这样做的目的是抑制非相干光源减少噪声，同时防止感光传感器因外部光线干扰而过度曝光。
需要加滤光片滤掉所有的环境光！！！常见的日光几乎能够覆盖整个光谱范围
3、成像传感器
是TOF的相机的核心。该传感器结构与普通图像传感器类似，但比图像传感器更复杂，它包含2个或者更多快门，用来在不同时间采样反射光线。因此，TOF芯片像素比一般图像传感器像素尺寸（0.7um-3um）要大得多，一般100um左右。
成像传感器像素尺寸不一样！！！
TOF的CMOS和普通CMOS的区别，为什么不能做小？
4、控制单元
相机的电子控制单元触发的光脉冲序列与芯片电子快门的开/闭精确同步。它对传感器电荷执行读出和转换，并将它们引导至分析单元和数据接口。
5、计算单元
计算单元可以记录精确的深度图。深度图通常是灰度图，其中的每个值代表光反射表面和相机之间的距离。为了得到更好的效果，通常会进行数据校准。