经典：传统相机标定方法解析：直接线性法和Tsai两步标定法

一、相机数学模型

    相机模型为以后一切标定算法的关键，只有这边有相当透彻的理解，对以后的标定算法才能有更好的理解。本人研究了好长时间，几乎每天都重复看几遍，最终才会明白其推导过程。

     我觉得首先我们要理解相机模型中的四个平面坐标系的关系：像素平面坐标系（u,v）、像平面坐标系（图像物理坐标第（x,y）、相机坐标系（Xc,Yc,Zc）和世界坐标系（Xw,Yw,Zw），在每一篇介绍相机模型的文章中都有介绍。

     我刚开始理解时，看着那一堆的公式十分的头晕，我相信很多初学者和我一样，但仔细想想，只不过是，我们假设了一些参数，使四个坐标系之间的坐标联系起来，这样我们就可以从拍摄的图片上一个点坐标一路反推出世界中的那个点的坐标，这样就达到了我们的目的，三维重建。而那些我们假设的参数，就是我们要标定的内外参数。

1、像素坐标与像平面坐标系之间的关系 

      确定他们的关系之前，我们可以假设每一个像素在u轴和v轴方向上的物理尺寸为dx和dy。仔细看下他们的模型可以推出以下公式（这个还是比较好理解的）：

 

                                                      

                                                                      公式1

      解释：1、dx,dy,u0,v0其实都是我们假设出来的参数，最终是要我们求的内外参数。

得出这个公式后我们可以运用线性代数的知识把方程用矩阵形式表示：

                                   

                                                                  公式2

当然我们也可以用另一种矩阵形式表示：

                                  

                                                                       公式3

2、相机坐标系与世界坐标系之间的关系 

     这两个坐标系之间的关系我们可以旋转矩阵R和平移矩阵T来得到以下关系：

                                       

                                                                    公式4

   解释：1、 在这个公式中，R为3*3矩阵，T为3*1，0为（0，0，0），简化用Lw表示后为4*4矩阵。

              

3、成像投影关系（相机坐标系与像平面坐标系） 

     在相机模型中我们可以得到以下公式：

                                       

                                                                 公式5

           解释：1、

同样我们用矩阵形式表示：

                                          

                                                                       公式6

4、得到公式

而我们可以将以上公式综合一下就可以得到：

  

   

 乘开用方程表示：                                                                                    

                                   

  把Zc代替可得到以下公式：                                                    

                               

                                                 

   解释：1、式中:L1,L2,…,L11是11个与u0,v0,f,Kx,Ky,U,X,J及XS,YS,ZS有关的系数;确定了像机的成像特性。x0,y0,f称为摄像机内方位元,U,X,J与XS,YS,ZS称为摄像机外方位元。若已知6个以上空间点(X i,Y i,Z i)及其像坐标(u i,v i)就可由式上式解出L1,L2,…,L11;从而得到像机参数。若已知两部以上像机的参数L1,L2,…,L11;根据空间点在各摄像机的像坐标(x j,y j)，由上式就可解算出空间坐标(X,Y,Z)。确定L1,L2,…,L11的过程称为标定,由(xj,yj)解算(X,Y,Z)的过程称为重构。

由于公式是复制得，以下用P代替：

                       

移项可得：

                         

   解释：1、由上可见，由空间6以上的已知点与它们的图像点坐标就可以得到P矩阵。在一般的标定工作中，靶标上有数十个已知特征点，使方程的个数大大超过未知数的个数，从而用最小二乘法求解以降低误差造成的影响。

             2、当标定点有N个时，就意味着上述方程有2N个，此时我们可以用矩阵把这2N个方程表示出来，该公式为：   

  

                                                         

其中L为：

                                  

A为：

        

U为：

                         

     这个公式大家可以写出来，这样就比较好看了，列出来以后可以看出P34对其他值是没有影响的，因此令P34=1。

上面说了，在2N个点时，我们可以通过最小二乘法使结果更加精确，其结果为：

                                                              

   公式 解释：1、因为在实际坐标与图像坐标为已知，所以A和U是已知的，所以可求出L。

                      2、P34为1，所以所求出的L为P11到P33.

   这样所有的P我们都求出来了，这就又回到了上式中，我们用P参数把内外参数的公式代替方便求解，我们可以通过P参数来反推出内外参数，由于这部分比较好理解，就不写了，粘贴公式太麻烦了。

在直接线性标定方法中，并没有考虑相机镜头的非线性畸变，而在Tsai提出的两步标定法中很好的解决了这个问题。相关理论推导如下：

 

1、相机畸变模型

在前一篇文章中有提到，应该比较好理解。

 

 

我们可以看出在上图中可以分以下几个坐标系：

①　像机坐标系Oc

②　图像像素坐标系Oi

③　世界坐标系Ow

④　实际图像物理坐标系Od

⑤　理想图像物理坐标系Ou

 

2、畸变量

 

此时，畸变量可分为在X方向和Y方向上，这种畸变量我们只考虑了径向畸变，其他畸变右以忽略不计，径向畸变本身是有一定的线性关系的，下面畸变模型的讲解时也会说到：

 

Ｄx：x方向畸变量

Ｄy：y方向畸变量

3、实际图物理坐标系与像素坐标系的关系（基本关系）

 

dx: x方向的像素距（每个像素在x方向的长度）

dy: y方向的像素距（每个像素在y方向的长度）

 

4、基本公式（在线性标定的基础上）

 

 

5、畸变的总体表示

 

 

径向畸变Dr

离心畸变Dt

薄棱镜畸变Dp

 

6、三种畸变的数学模型

 

 

径向畸变及其规律（径向约束）：

 

离心畸变：

 

薄棱镜畸变：

 

总畸变：

 

畸变系数：

径向畸变：k1

离心畸变：p1, p2

薄棱径畸变：s1, s2

 

7、模型参数

 

内参数：

      焦比：fu, fv

      图像中心（主点）坐标：u0,v0

畸变系数： k1, p1, p2, s1, s2

 

 

外参数：

      平移矢量：Ｔ

      旋转矩阵：Ｒ

 

典型标定方法

    利用像机畸变模型建立约束方程

    确定优化目标函数

以非线性优化方法求解

 

缺点：

    优化程序计算复杂，速度慢

    标定的结果取决于初始值

8、两步标定法正式开始

1987年由Tsai提出

第一步：求除tz外的所有外参数

    利用径向排列约束（RAC）

    线性求解

第二步：求其余参数

    非线性优化

9、两步法的前提

假设：

 u0,v0已知

只考虑二阶径向畸变

 主点既是图像中心又是径向畸变中心

 

 

10、公式推导

 

得到以下公式：

 

11、径向约束公式

 

 

上面已经求出：

 

综合可得：

 

乘开：

 

12、第一步

1、求中间变量

 

 

为了方便表示与计算，用参数将变量代替：

 

2、 求|ty|

 

 

4、求tx

 

5、求R：

 

6、确定ty符号:

 

设ty>0, 求其它参数

     用远离图像中心的特征点计算:

 

 

假设条件正确:

    xci与ui-u0同号

    yci与vi-v0同号

 

 

剩余参数:fu,fv, tz, k1

约束方程：

 

13、第二步

剩余参数:fu,fv, tz, k1

 

已知：

 

求：

 

方法：非线性优化

 

 

确定初始值：

  k1=0, dv=1

  忽略非线性畸变，求解fv和tz

 

14、U0，V0的标定

 

直接光学方法 

变焦距法

径向排列约束法

 

 

直接光学法

用一束激光照射像机镜头

在光路上放一张有孔的纸

使激光的入射光线与反射光线重合

用像机摄取包含激光光斑的图象

光斑的中心坐标即为光心坐标

调整困难但精度较高 

 

 

变焦距法

 

条件：光心与镜头的缩放中心重合

实现：

      不同距离分别对多个特征点成像

      每个特征点一个线性方程

 

径向排列约束法

 

 

利用共面标定板，取zwi=0

 

 

 

非线性优化求解

 

 

15、小小总结一下：

前面标定方法共性：

    已知特征点二维图像坐标与三维空间坐标

    需要标定参照物

统称：传统标定方法

优点：适用任意摄像机模型，标定精度高

不足：需标定参照物，某些应用中难以实现