D405摄像机校准（自校准+动态校准）

B站视频 Eposide 1：自校准

B站intelREALSENSE官方发的视频：
https://www.bilibili.com/video/BV1rg4y1j7kp/?spm_id_from=333.788&vd_source=285d77fc2824f26edda08a28a6fd27ee
自校准白皮书下载： http://www.intelrealsense.com/download/9277
自校准基准（Ground-Truth）打印目标纸下载：
【A3】http://www.intelrealsense.com/wp-content/uploads/2023/01/GaussianBlur30x100x175back-11x17-A3.pdf
【A4】http://www.intelrealsense.com/wp-content/uploads/2023/01/GaussianBlur30x100x100back-8.5x11.pdf
Intel.RealSense.Viewer.exe下载：
http://github.com/IntelRealSense/librealsense/releases/download/v2.53.1/Intel.RealSense.Viewer.exe
Depth.Quality.Tool.exe下载：
http://github.com/IntelRealSense/librealsense/releases/download/v2.53.1/Depth.Quality.Tool.exe

校准的等级可以理解为：自校准<动态校准<OEM校准。在自校准无法恢复相机正常精度时，则使用动态校准；动态校准无法恢复精度时，则必须使用OEM校准

Intel RealSense D400系列深度摄像头在出厂时都已经进行过校准，确保用户拿到设备即可上手使用，但随着时间推移或工作环境的影响，如果摄像头长期暴露在极端温度或是存在频繁冲击、振动等环境下，摄像头的精度就有可能发生变化。
为此，Intel提供了一系列校准工具，其中的自校准工具可以使用户在绝大多数场景中轻松快捷地完成校准工作，在目前最新的SDK 2.54.2版本(Sep 28, 2023)中，我们可以使用RealSense-Viewer或者Deph Quality Tool这两个工具中的任意一种完成三种类型的自校准工作。

1. 片上校准（On-Chip Calibration），用于减少深度噪声，从而优化深度性能；
2. 焦距校准（Focal Length Calibration），用于校正左右IR（Infrared Radiation, 红外线）摄像头的焦距不平衡；
3. 皮重校准（Tare Calibration）,用于提高深度精度。
   由于焦距校准及皮重校准需要观察Angle数值，因此更推荐使用Depth Quality Tool工具。
   本视频案例将使用RealSense-Viewer做片上校准的演示，使用Deph Quality Tool做焦距和皮重校准的演示。

一、三种类型的自校准工作实施步骤：

第一节：片上校准（On-Chip Calibration）

使用RealSense-Viewer进行片上校准步骤：

1. 打开RealSense-Viewer程序；
2. 确定摄像头固件版本为当前最新版本；
3. 启动深度图，确保深度图中的有效深度达到50%以上的覆盖率；
4. 点击“More", ”On-Chip Calibration“, “Calibrate”，开始启动片上校准，稍等片刻校准结果即可反馈；
5. 校准完毕后，弹窗结果会出现一个Health Check的数值，当该数值小于0.25时，代表摄像头现有的校准数据正常，可以保留现有校准数据，即无需应用新的校准数据（不需要点击”Apply New"），而选择忽略（点击“Dismiss"）。当Health Check在0.25到0.75之间时，表示校准数据有优化空间，点击”Apply New"应用新的校准数据，并且再一次运行 ”On-Chip Calibration“，看Health Check的运行结果是否恢复到<0.25的数值。当Health Check数值>0.75时，表示摄像头必须重新校准，此时自校准有可能不足以恢复摄像头的最佳精度，建议使用动态校准或[[OEM校准]]对摄像头进行校准。
   （自校准可以的话，就直接校准完毕了。校准的等级可以理解为：自校准<动态校准<OEM校准。在自校准无法恢复相机正常精度时，则使用动态校准；动态校准无法恢复精度时，则必须使用OEM校准）
   另外，在确保laser打开的情况下也可以选择白墙作为校准场景，这里再演示一次白墙场景下的On-Chip Calibration。具体做法同上所述。
   在完成片上校准后，我们可以使用Deph Quality Tool深度质量验证工具对片上校准的效果进行确认。在Ground Truth输入目前使用测距仪（需要测距仪）测得的真实距离（大约800 mm，下方的Metrics栏就会得到摄像头目前的填充率、Z精度、RMS误差等数值。

**【小结】以上是自校准中最常用的片上校准，它实现了快速、方便的优化摄像头校准数据、减少了深度图噪点。

第二节：焦距校准（Focal Length Calibration）

在做焦距校准之前，首先需要打印一份基准校准目标。常规的A3/A4纸张尺寸，选择按照实际大小打印，打印目标的下载链接为：

自校准基准（Ground-Truth）打印目标纸下载：
【A3】http://www.intelrealsense.com/wp-content/uploads/2023/01/GaussianBlur30x100x175back-11x17-A3.pdf
【A4】http://www.intelrealsense.com/wp-content/uploads/2023/01/GaussianBlur30x100x100back-8.5x11.pdf

下面的演示操作，以A3打印版本目标为例。打印后需要手工测量，确认A3版本四个点构成的虚线长方形长为175mm，宽为100mm。

1. 打开Deph Quality Tool程序；
2. 点击"More"，“Focal Length Calibration"；
3. 确认右上角预设或输入“Target Width = 175 mm“，“Target Height = 100 mm“；
4. 将摄像头居中对齐目标，并移动至距离目标纸墙面约0.8m处，摄像头平行对准墙面，调整摄像头确保Angle（左侧）小于5度以内，角度越小效果越好；
5. 观察确认左右IR中的四个圆点，都在摄像头的ROI（Region of Interest）黄色框线范围内；
6. 然后点击“Calibrate"；
7. 校准完成后得到结果，“Focal Length Imbalance”小于±0.2%是正常范围，不需要应用新的校准数据；如果大于±0.2%则需要应用新的校准数据，并且再一次重复Calibrate，验证结果；
   【小结】焦距校准可以校正由于焦距不平衡，而导致深度图像倾斜的问题。

第三节：皮重校准（Tare Calibration）

有两种方式：

方式一：有条件直接获取真实距离时的校准

比如：具备激光测距仪能得到真实距离（没有测距仪的同学直接看方式二）。具体步骤如下：

1. 使用Deph Quality Tool程序；
2. 使用激光测距仪测量真实的物理距离；（需要注意一点，由于摄像头Depth起点与前盖玻璃还有一定距离，需要把这段距离包括在真实距离内，注意每个型号有所不同，具体可以参考视频里表格中的数据 精准空降到 08:01 ，这里我用到的D405相机的Camera Front Glass (Z’)为 -3.7 mm ）。正如视频中目前测距仪测得的距离为796 mm，视频中的设备是D435，再加上4.2 mm后实际真实距离大约就到了800 mm。因此在左侧Ground Truth中输入800 mm。
3. 将摄像头平行对准墙面，调整摄像头确保Angle角度小于5度以内，角度越小效果越好；
4. 将当前左侧Ground Truth的深度质量做一个截屏记录，方便校准后作对比；
5. 点击“More", “Tare Calibration”；
6. 在Ground Truth中输入测距仪所测的真实距离800 mm；
7. 点击“Calibrate”开始校准；
8. 因为依靠真实距离，所以校准结果可以直接写入，即点击“Apply New"应用新的校准数据；
9. 写入完成后，可以与校准前的深度质量做一下对比，也就是左下角的Metrics；
10. 如果对结果还不满意，可以再做一次"Tare Calibration"；

注意，如果在第7步点击“Calibrate”之后，右上角出现红色框框，里面显示： Failed to extract target
information from the captured frames! 调整相机的角度，重复几次，直到出现校准结果。

方式二：没有条件直接获取真实距离时

可以使用基准目标（Ground Truth）计算真实距离来进行校准，步骤如下：

1. 回到在上一节中焦距校准中所用到的基准目标纸场景中;
2. 点开“More", “Tare"Calibration”, “Get”；
3. 确认预设或输入“Target Width = 175 mm“，“Target Height = 100 mm“；
4. 然后点击”Calculate";
5. 计算运行结束后，就会得到一个Ground Truth的距离数值，再点击“Calibrate"触发校准；
6. 等校准结果出来后，如果前后对比变化不大，也可以选择忽略，点击“Dismiss”不应用新的校准数据；
   皮重校准接近于片上校准的便捷和快速，只需要知道一个真实距离，就可以完成对摄像头精度提升的校准。

自校准总结

如果On-Chip Calibration，Focal Length Calibration和Tare Calibration三种校准都运行一遍，建议按照以下流程操作

注释：FOV——Field of View(视场角)，DQT——Deph Quality Tool，GT——Ground Truth。

B站视频 Eposide 2：动态校准

B站intelREALSENSE官方发的视频：
https://www.bilibili.com/video/BV1ML41167m5/?spm_id_from=333.788&vd_source=285d77fc2824f26edda08a28a6fd27ee
动态校准白皮书下载： http://www.intelrealsense.com/download/17261
动态校准打印目标纸下载：
http://www.intelrealsense.com/download/18533
动态校准工具下载：
http://www.intel.com/content/www/us/en/download/645988
动态校准API程序指南：
http://www.intelrealsense.com/download/18524
Depth.Quality.Tool.exe下载：
http://github.com/IntelRealSense/librealsense/releases/download/v2.53.1/Depth.Quality.Tool.exe

二、动态校准

用到的程序为：Intel RealSense Dynamic Calibrator，目前已更新到2.13.1版本，新版本的特性为：
校准成功后在打开Deph Quality Tool做深度质量验证时，Emitter不再默认关闭，即无需检查Emitter状态。

第一部分：准备工作

动态校准工具包，包含以下部分：

• 动态校准工具 Dynamic Calibrator,
• 深度质量验证工具 Depth Quality Tool,
• 打印目标 Print Target,
• 用户指南 User Guide。
  准备工作如下：
• 在安装完成Dynamic Calibrator工具后，首先需要打印一份“Print-Target"动态校准目标，在打印预览时选择当前页面（第一页），注意页面大小需要选择”实际大小“。打印后再实际测量一下，纸张上的目标尺寸是否符合了实际尺寸大小，然后将打印的目标纸固定在垂直墙面或面板上， 校准目标纸尽可能地确保平整。

第二部分：开始校准

1. 首先使用卷尺或测距仪等工具，确认深度相机与校准目标支架的距离在60~85厘米范围内，建议最佳距离在70厘米左右即可；
2. 连接上深度相机；
3. 打开Dynamic Calibrator动态校准工具，在设置中确认选择的是“Auto"自动曝光；
4. 自动暂停时间默认180秒，也可根据实际情况调整；
5. 带有RGB Camera的型号，可以勾选是否跳过RGB校准；
6. 右侧Show Demo可以查看操作演示步骤；
7. 点击“Start Calibration"，动态校准开始启动，等待进度条加载；
8. 移动摄像头将校准目标锁定在中心范围，此时出现蓝色区域，由24个方块组成；
9. 缓慢地移动摄像头，直到把四周蓝色方块消除，在整个动作过程中要保持缓慢移动的状态；
10. 接着进入到尺度校准阶段，缓慢移动摄像头，根据画面下方绿色进度条指示，需要抓取到15个不同位置目标；
11. 最后进入到RGB尺度校准阶段，其步骤等同于“尺度校准阶段”，同样缓慢移动摄像头，根据画面下方绿色进度条指示，需要抓取到15个不同位置目标；
12. 最终显示“Calibration Successful"表示校准成功；

第三部分：质量验证

动态校准成功后，打开Depth Quality Tool深度质量验证工具，观察Z精度、填充率、RMS误差等各项指标是否满足要求，各型号深度质量标准参考视频中所述表格精准空降到 05:19。（详细步骤可参考视频《Depth Quality Tool深度质量验证工具使用指南》）
D405相机Z-accuracy(or Absolute Error) ±0.2%，Fill rate ≥ 99.5%，RMS Error (or Spatial Noise) ≤ 1%。
如果对校准结果不满意，可以再回到Dynamic Calibrator重复开始校准步骤，直至结果满意为止。
另外也可以用手机APP代替动态校准目标，支持使用从iPhone5至8Plus系列手机，下载安装Dynamic Target Tool，操作步骤方式与打印目标基本一致。