论文阅读笔记：(1998) A flexible new technique for camera calibration

大名鼎鼎的相机内参的张氏标定法，我们今天来一探究竟！读的是张正友博士在微软的technical report，写得非常详细，大家一定要看一下原文：

https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/tr98-71.pdf

该方法也发表在了2000年的TPAMI上，影响非常深远！

一、动机

目前的方法要么贵（Photogrammetric calibration. Camera calibration is performed by observing a calibration object whose geometry in 3-D space is known with very good precision），要么不准（Self-calibration. Techniques in this category do not use any calibration object. Just by moving a
camera in a static scene），所以急需提出一种又准又便宜的方案：

拍摄至少两张平面标定图案的照片 -> 闭式求解给初值 -> 基于最大似然的非线性精化；

二、单应性和相机内参求解

不考虑畸变时， 相机内参一共有5个，其中skewness常常置为0：

skewness是CCD/CMOS行列之间的不垂直性，一般可以认为是0

2.1. 单应性描述了标定板坐标系到像素坐标系的变换关系；标定板上的点足够多（也就是知道了多组 u, v, X, Y）， H就可以求解出来

2.2. 利用旋转矩阵的正交性，可以为相机内参和单应性矩阵之间提供2个约束（r1, r2垂直， r1, r2等长）, 其中h1, h2是单应性矩阵的第一和第二列， A是相机的内参：

 

这两个约束的几何解释需要用到绝对二次曲线的概念（absolute conic）, 参考： The image of the absolute conic  ， 以及： Camera Calibration 相机标定：原理简介（三）_yhl_leo的博客-CSDN博客

2.3. 内参有5个， 每拍摄一次标定板，能够提供2个方程；3个不同位置拍摄标定板， 就能够求解出所有内参；如果认为skewness是0，则只需要2个不同的位置拍摄标定板；实际使用中一般会拍摄10张以上的图片；

2.4 实际中，上述闭式解由于噪声和镜头畸变的存在往往是不够准确的，但其可以作为最大似然精化的初值：

k1, k2是径向畸变

2.5 综上，整体的标定过程是：

 

三、退化位形

不同的标定板摆设之间一定要有旋转，否则只等效为一个位置，直接粘贴原文截图啦：

 

四、实验结果

基于以上实验结果：

1. 标定板要平整，格子间距要准确，尽量让标定板在图片里面看起来大一些， Corner多一些

2. 拍摄10张以上不同角度照片， 旋转角度40°到60°， roll, pitch, yaw的旋转都要有