相机标定（二）-畸变校正，张正友标定法

最新推荐文章于 2024-05-07 16:06:29 发布

CA727

最新推荐文章于 2024-05-07 16:06:29 发布

阅读量5.6k

点赞数

分类专栏： # 相机标定文章标签：畸变校正

本文链接：https://blog.csdn.net/cfan927/article/details/104384009

版权

相机标定专栏收录该内容

3 篇文章 13 订阅

订阅专栏

>>>文章索引<<<

相机标定（一）-原理及内参、外参
相机标定（二）-畸变校正，张正友标定法
相机标定（三）-相机成像模型

1 一些基本的方程推导

1.1 预定义

定义2D点为 $m=[u,v]^T$ ，3D点为 $M=[X,Y,Z]^T$ 。用上标~用来表示增广向量（在最后添加元素1，齐次形式）：

$\tilde{m}=[u,v,1]^T$

$\tilde{M}=[X,Y,Z]^T$

摄像机通常建模为针孔模型，则三维点 $M$ 及其在图像上的投影 $m$ 之间的关系可以表示为：

$s\tilde{m}=A \begin{bmatrix} R & t \end{bmatrix} \tilde{M} \text{, 其中} A= \begin{bmatrix} \alpha & c & u_0 \\ 0 & \beta & v_0 \\ 0 & 0 & 1 \end{bmatrix} \tag{1}$

其中 $s$ 为一个任意的尺度因子（与拍摄的标定图像相关）； $(R, t)$ 为相机的外参矩阵，表示相机坐标系与世界坐标系之间的转换； $A$ 为相机的内参矩阵，其中 $u_0,v_0)$ 为相机主点的坐标， $\alpha$ 和 $\beta$ 为图像 $u$ 和 $v$ 坐标轴上的尺度因子， $c$ 描述了图像两个坐标轴之间的偏度。（关于相机内、外参矩阵的推导可参考：链接）

本文中使用 $A^{-T}$ 来表示 $A^{-1})^T$ 和 $A^T)^{-1}$ 。

1.2 棋盘格模型与其图像之间的单应性矩阵

文中把世界坐标定义在棋盘格模型上，即模型平面与世界坐标系中 $Z = 0$ 的平面重合。我们定义旋转矩阵 $R$ 的第 $i$ 列为 $r_i$ ，则由公式 $(1)$ 可以得到：

$\begin{aligned} s \begin{bmatrix} u \\ v \\ 1 \end{bmatrix} &= A \begin{bmatrix} r_1 & r_2 & r_3 & t \end{bmatrix} \begin{bmatrix} X \\ Y \\ 0 \\ 1 \end{bmatrix} \\ &= A \begin{bmatrix} r_1 & r_2 & t \end{bmatrix} \begin{bmatrix} X \\ Y \\ 1 \end{bmatrix} \end{aligned}$

由于我们定义 $Z = 0$ ，所以棋盘格模型上的点为 $M=[X,Y]^T$ ，其齐次形式为 $\tilde{M}=[X,Y,1]^T$ 。这样，模型上的点 $M$ 与其图像上对应成像的点 $m$ 就可以通过一个单应性矩阵 $H$ 来联系：

$s\tilde{m}=H\tilde{M} \text{, 其中} H=A \begin{bmatrix} r_1 & r_2 & t \end{bmatrix} \tag{2}$

显然，这个 $3\times3$ 的单应性矩阵 $H$ 的定义依赖于尺度因子 $s$ 。

1.3 内参的约束条件

给定一幅棋盘格模型的图像，可以估计一个单应性矩阵。文中作者使用一种极大似然估计的方法（可参考链接）来求解。

假设 $M_i$ 为模型点， $m_i$ 为图像点，则理想情况下它们满足公式 $(2)$ ，但实际上由于图像中存在噪声，无法满足公式 $(2)$ 。作者假设图像中的噪声满足均值为 $0$ 、协方差矩阵为 ${\bigwedge}_{m_i}$ 的高斯分布，则单应性矩阵 $H$ 的极大似然估计可以通过最小化下面这个公式得到：

$\sum_{i} (m_i-\hat{m_i})^T {\bigwedge}_{m_i}^{-1}(m_i-\hat{m_i})$

具体推导过程这里不再赘述。我们定义得到这个单应性矩阵为 $H=\begin{bmatrix}h_1 & h_2 & h_3\end{bmatrix}$ ，结合公式 $(2)$ ，可以得到：

$\begin{bmatrix} h_1 & h_2 & h_3 \end{bmatrix}= \lambda A \begin{bmatrix} r_1 & r_2 & t \end{bmatrix}$

即：

$r_1=\frac{1}{\lambda}A^{-1}h_1 \\ r_2=\frac{1}{\lambda}A^{-1}h_2$

其中 $\lambda$ 是一个任意的标量。由于 $r_1$ 和 $r_2$ 是标准正交的，所以有：

$r_1^T r_2=h_1^T A^{-T} A^{-1} h_2=0 \tag{3}$

$\begin{array}{cc} r_1^T r_1=r_2^T r_2=1 \\ \Rightarrow h_1^T A^{-T} A^{-1} h_1=h_2^{T} A^{-T} A^{-1} h_2 \end{array} \tag{4}$

给定一个单应性矩阵，对内参有上述两个基本约束条件。由于单应性矩阵具有8个自由度和6个外参（3个旋转参数，3个平移参数），因此，到这我们只能得到内参的2个约束条件。

2 相机标定

本节详细介绍了如何有效解决相机标定问题。从一个解析解开始，然后是一个基于极大似然估计（可参考我的另一篇博文：极大似然估计）的非线性优化技术。最后，我们考虑了透镜的畸变，给出了解析解和非线性解。

2.1 封闭解

令：

$\begin{aligned} B&=A^{-T} A^{-1}\equiv \begin{bmatrix} B_{11} & B_{12} & B_{13} \\ B_{12} & B_{22} & B_{23} \\ B_{13} & B_{23} & B_{33} \end{bmatrix} \\ &= \begin{bmatrix} \frac{1}{\alpha^2} & -\frac{c}{\alpha^2\beta} & \frac{cv_0-u_0\beta}{\alpha^2\beta} \\ -\frac{c}{\alpha^2\beta} & \frac{c^2}{\alpha^2\beta^2}+\frac{1}{\beta^2} & -\frac{c(cv_0-u_0\beta)}{\alpha^2\beta^2}-\frac{v_0}{\beta^2} \\ \frac{cv_0-u_0\beta}{\alpha^2\beta} & -\frac{c(cv_0-u_0\beta)}{\alpha^2\beta^2}-\frac{v_0}{\beta^2} & \frac{(cv_0-u_0\beta)^2}{\alpha^2\beta^2}+\frac{v_0^2}{\beta^2}+1 \end{bmatrix} \end{aligned} \tag{5}$

$B$ 为对称矩阵，由一个6维的向量定义：

$\begin{bmatrix} B_{11},B_{12},B_{22},B_{13},B_{23},B_{33} \end{bmatrix} ^T \tag{6}$

令矩阵 $H$ 中的第 $i$ 列向量为 $h_i=\begin{bmatrix}h_{i1},h_{i2},h_{i3}\end{bmatrix}^T$ ，有：

$h_i^T B h_j=v_{ij}^T b \tag{7}$

其中， $v_{ij}$ 为：

$v_{ij}= \begin{bmatrix} h_{i1}h_{j1},h_{i1}h_{j2}+h_{i2}h_{j1},h_{i2}h_{j2},h_{i3}h_{j1}+h_{i1}h_{j3},h_{i3}h_{j2}+h_{i2}h_{j3},h_{i3}h_{j3} \end{bmatrix} ^T$

所以公式 $(3)$ 和 $(4)$ 就可以写为齐次形式：

$\begin{bmatrix} v_{12}^T \\ (v_{11}-v_{22})^T \end{bmatrix} b=0 \tag{8}$

如果获取 $n$ 张图像，也就相当于有 $n$ 个这样的方程，通过叠加这写方程，有：

$\tag{9}$

其中V是一个2n×6的矩阵。如果n≥3，我们通常会有一个唯一解b。如果n=2，可以令倾斜参数c=0，即[0, 1, 0, 0, 0, 0]b = 0，这可作为额外的方程代入式(9)。

一旦估计出b，我们就可以计算出相机的内参矩阵A。有了内参矩阵，外参矩阵很容易计算。

2.2 极大似然估计

上面的解是通过最小化一个物理意义不大的代数距离得到的。我们可以通过极大似然估计来对它进行优化。

假设我们有棋盘格模型的n个图像，模型平面上有m个点，且图像上的噪声服从独立同一分布，则极大似然估计可以通过最小化以下函数得到：

$\sum_{i=1}^{n} \sum_{j=1}^{m} \|m_{ij}-\hat{m}(A,R_i,t_i,M_j)\|^2 \tag{10}$

这里可以使用Levenberg-Marquardt算法进行迭代来求最优解，这个算法需要一个初始值，初始值可以从前面的描述中获取。

2.3 径向畸变校正

令 $(u, v)$ 为理想的无畸变的像素坐标， $(\tilde{u},\tilde{v})$ 为对应的实际畸变后的像素坐标。 $(x, y)$ 为理想的无畸变的图像坐标， $\tilde{x},\tilde{y}$ 为对应的畸变后的图像坐标。

实际情况中，可以用主点周围的泰勒级数展开的前几项进行描述。作者只考虑了径向畸变的前两项，因此有：

$\begin{array}{cl} \tilde{x}=x+x[k_1(x^2+y^2)+k_2(x^2+y^2)^2] \\ \tilde{y}=y+y[k_1(x^2+y^2)+k_2(x^2+y^2)^2] \end{array}$

其中 $k_1$ 和 $k_2$ 为径向畸变系数。径向畸变的中心与主点 $u_0,v_0)$ 相同，因此有（主点周围的泰勒级数）：

$\tilde{u}=u+(u-u_0)[k_1(x^2+y^2)+k_2(x^2+y^2)^2] \tag{11}$

$\tilde{v}=v+(v-v_0)[k_1(x^2+y^2)+k_2(x^2+y^2)^2] \tag{12}$

转为矩阵形式：

$\begin{bmatrix} (u-u_0)(x^2+y^2) & (u-u_0)(x^2+y^2)^2 \\ (v-v_0)(x^2+y^2) & (v-v_0)(x^2+y^2)^2 \end{bmatrix} \begin{bmatrix} k_1 \\ k_2 \end{bmatrix}= \begin{bmatrix} \tilde{u}-u \\ \tilde{v}-v \end{bmatrix}$

给定每张含有m个点的n张图像，我们可以联立所有的 $2 m n$ 个方程或写为矩阵形式： $D k = d$ ，其中 $k=[k_1,k_2]^T$ 。则线性最小二乘解可由下式给出：

$k=(D^TD)^{-1}D^Td \tag{13}$

扩展公式 $(10)$ 依然使用极大似然估计得到结果，利用LM优化算法计算使下列函数最小的参数值：

$\sum_{i=1}^{n} \sum_{j=1}^{m} \|m_{ij}-\hat{m}(A,k_1,k_2,R_i,t_i,M_j)\|^2 \tag{14}$

CA727

关注

0
点赞
踩
28

收藏

觉得还不错? 一键收藏
0
评论
相机标定（二）-畸变校正，张正友标定法

1 一些基本的方程推导1.1 预定义定义2D点为m=[u,v]Tm=[u,v]^Tm=[u,v]T，3D点为M=[X,Y,Z]TM=[X,Y,Z]^TM=[X,Y,Z]T。用上标~用来表示增广向量（在最后添加元素1，齐次形式）：m~=[u,v,1]T\tilde{m}=[u,v,1]^Tm~=[u,v,1]TM~=[X,Y,Z]T\tilde{M}=[X,Y,Z]^TM~=[X,Y...
复制链接

扫一扫

专栏目录