互补格雷码+相移码求解三维点云

jiayuzhang128

已于 2022-12-04 17:56:02 修改

阅读量3.3k

点赞数 6

分类专栏：结构光三维重建文章标签：计算机视觉

于 2022-11-09 10:01:33 首次发布

本文链接：https://blog.csdn.net/qq_40918859/article/details/127763190

版权

结构光三维重建专栏收录该内容

6 篇文章 63 订阅

订阅专栏

简介

互补格雷码+相移码实现物体三维重建，整个重建过程可以分为6个步骤：

生成格雷码图像
生成四步相移图像
求解相对相位
求解绝对相位
获得相机-投影仪像素坐标之间的对应关系
根据标定参数获得重建点云信息

🚀Github项目已建立，项目中提供了实验数据，供大家学习，欢迎大家star⭐️收藏！🚀

求解绝对相位的具体原理和代码可以参考(超详细)互补格雷码+相移码求解包裹相位（Python实现），下面的内容主要介绍获得绝对相位后如何计算三维坐标点，重在理论推导。

5. 获得相机-投影仪像素坐标之间的对应关系

获得绝对相位后，就可以建立相机-投影仪像素坐标之间的对应关系，假设相机像素坐标为 $u_{c},v_{c})$ ，投影仪像素坐标为 $u_{p},v_{p})$ ，相移码一个周期所占的像素个数为 $T$ ，那么通过相位关系可以得到如下关系式：

$\Phi(u_{p},v_{p})=\Phi(u_{c},v_{c})$

$\Phi(u_{p},v_{p})=\frac{2\pi u_{p}}{T}$

可以得到如下关系式：

$u_{p}=\frac{\Phi(u_{p},v_{p}) \ast T}{2\pi}=\frac{\Phi(u_{c},v_{c}) \ast T}{2\pi}$

6. 根据标定参数获得重建点云信息

6.1 根据内参数获得关系式

根据相机模型：

$\begin{aligned} \begin{bmatrix} u_{c} \\ v_{c} \\ 1 \end{bmatrix} &= \begin{bmatrix} f_{cx} & 0 & u_{c0} & 0 \\ 0 & f_{cy} & v_{c0} & 0 \\ 0 & 0 & 1 & 0 \end{bmatrix} \frac{1}{Z_{c}} \begin{bmatrix} R_{w\rightarrow c} & t_{w\rightarrow c} \\ 0 & 1 \end{bmatrix} \begin{bmatrix} X_{w} \\ Y_{w} \\ Z_{w} \\ 1 \end{bmatrix} \\ &= \begin{bmatrix} f_{cx} & 0 & u_{c0} \\ 0 & f_{cy} & v_{c0} \\ 0 & 0 & 1 \end{bmatrix}\begin{bmatrix}X_{c}/Z_{c} \\ Y_{c}/Z_{c} \\ 1 \end{bmatrix} \\ &= \begin{bmatrix} f_{cx} & 0 & u_{c0} \\ 0 & f_{cy} & v_{c0} \\ 0 & 0 & 1 \end{bmatrix}\begin{bmatrix}x_{c} \\ y_{c} \\ 1 \end{bmatrix} \end{aligned}$

可以得到：

$\left\{\begin{array}{ll}X_{c}=x_{c} \ast Z_{c} \\ Y_{c}=y_{c} \ast Z_{c} \\ Z_{c}=Z_{c} \end{array} \right.$

由相机内参数可得

$\left\{\begin{array}{ll}u_{c}=f_{cx} \ast x_{c} + u_{c0} \\ v_{c}=f_{cy} \ast y_{c} + v_{c0}\end{array} \right. \Rightarrow \left\{\begin{array}{ll}x_{c}=(u_{c} - u_{c0})/f_{cx} \\ y_{c}= (v_{c} - v_{c0})/f_{cy}\end{array} \right.$

投影仪可以看作逆相机，因此投影仪模型与相机模型相同，同理可得：

$\left\{\begin{array}{ll}X_{p}=x_{p} \ast Z_{p} \\ Y_{p}=y_{p} \ast Z_{p} \\ Z_{p}=Z_{p} \end{array} \right.$

$\left\{\begin{array}{ll}u_{p}=f_{px} \ast x_{p} + u_{p0} \\ v_{p}=f_{py} \ast y_{p} + v_{p0}\end{array} \right. \Rightarrow \left\{\begin{array}{ll}x_{p}=(u_{p} - u_{p0})/f_{px} \\ y_{p}= \ast (v_{p} - v_{p0})/f_{py}\end{array} \right.$

6.2 根据外参数获得方程

设相机投影仪系统的外参数为 $R_{c \rightarrow p}=\begin{bmatrix}r_{11} & r_{12} & r_{13} \\ r_{21} & r_{22} & r_{23} \\ r_{31} & r_{32} & r_{33} \end{bmatrix}、t_{c \rightarrow p}=\begin{bmatrix}t_{x} & t_{y} & t_{z}\end{bmatrix}$

由下面式子，

$\begin{bmatrix}X_{p} \\ Y_{p} \\ Z_{p} \end{bmatrix} = R_{c \rightarrow p}\begin{bmatrix}X_{c} \\ Y_{c} \\ Z_{c} \end{bmatrix} + t_{c \rightarrow p}$

展开得：

$\left\{\begin{array}{ll} X_{p} = r_{11}X_{c} + r_{12}Y_{c} + r_{13}Z_{c} + t_{x} = (r_{11}x_{c} + r_{12}y_{c} + r_{13})Z_{c} + t_{x} \\ Y_{p} = r_{21}X_{c} + r_{22}Y_{c} + r_{23}Z_{c} + t_{y} = (r_{21}x_{c} + r_{22}y_{c} + r_{23})Z_{c} + t_{y} \\ Z_{p} = r_{31}X_{c} + r_{32}Y_{c} + r_{33}Z_{c} + t_{z} = (r_{31}x_{c} + r_{32}y_{c} + r_{33})Z_{c} + t_{z} \end{array} \right.$

又由相机投影仪像素坐标得关系有：

$\left\{\begin{array}{ll}u_{p}=f_{px} \ast x_{p} + u_{p0} \\ u_{p} =\frac{\Phi(u_{c},v_{c}) \ast T}{2\pi}\end{array} \right. \Rightarrow f_{px} \ast x_{p} + u_{p0} = \frac{\Phi(u_{c},v_{c}) \ast T}{2\pi}$

最终得到连联立方程组：

$\left\{\begin{array}{ll} x_{p} \ast Z_{p} = (r_{11}x_{c} + r_{12}y_{c} + r_{13})Z_{c} + t_{x} \\ Z_{p} = (r_{31}x_{c} + r_{32}y_{c} + r_{33})Z_{c} + t_{z} \\ f_{px} \ast x_{p} + u_{p0} = \frac{\Phi(u_{c},v_{c}) \ast T}{2\pi} \end{array} \right.$

解得：

$Z_{c} = \frac{x_{p}t_{z}-t_{x}}{J_{x}-J_{z}x_{p}}$

$J_{x} = (r_{11}x_{c} + r_{12}y_{c} + r_{13})$ ；
$J_{z} = (r_{31}x_{c} + r_{32}y_{c} + r_{33})$ ；
$x_{p} = (\frac{\Phi(u_{c},v_{c}) \ast T}{2\pi} - u_{p0})/f_{px}$ 。

相机坐标系下的得三维坐标点为：

$\left\{\begin{array}{ll}X_{c} = x_{c} \ast Z_{c} \\ Y_{c} = y_{c} \ast Z{c} \\ Z_{c} = \frac{x_{p}t_{z}-t_{x}}{J_{x}-J_{z}x_{p}} \end{array} \right.$