深度图像配准（Registration）原理

机器视觉中，3D相机产生的深度图像（depth image）通常需要配准（registration），以生成配准深度图像（registed depth image）。实际上配准的目的就是想让深度图和彩色图重合在一起，即是将深度图像的图像坐标系转换到彩色图像的图像坐标系下。下面我们来介绍其推导的过程。 

 

1. 原理

为了描述方便，首先做些简单的假设。如下图所示，3D相机的左侧相机（left camera）为红外相机（即深度相机，ir camera），右侧相机（right camera）为彩色相机（color camera）。现在主流的3D相机都是这样的布局，如xtion，kiinect，orbbict。

已知彩色图像的像素表示为(uR,vR,zR)⊤(uR,vR,zR)⊤，uR,vR,zRuR,vR,zR分别表示彩色图像的横坐标，纵坐标和相机坐标系下的深度值（z方向上的值，非两点的距离）；同样地，深度图像的像素为(uL,vL,zL)⊤(uL,vL,zL)⊤，uL,vL,zLuL,vL,zL分别表示深度图像的横坐标，纵坐标和相机坐标系下的深度值（z方向上的值，非两点的距离）。注意为了方便表示，本文中下标的R,L分别表示Right,Left的意思。那么深度图配准到彩色图的过程就是找到如下公式中的变换矩阵W′W′：

https://www.cnblogs.com/cv-pr/p/5769617.html