SLAM十四讲之第5讲--相机标定

风轻云淡_Cauchy

已于 2023-12-21 16:30:10 修改

阅读量870

点赞数

分类专栏：图像处理文章标签：数码相机计算机视觉人工智能

于 2023-03-14 14:23:42 首次发布

本文链接：https://blog.csdn.net/duanyuwangyuyan/article/details/125639456

版权

图像处理专栏收录该内容

18 篇文章 1 订阅

订阅专栏

SLAM十四讲之第5讲--相机标定

1、相机模型
- 1.1、针孔模型
- 1.2、畸变模型
2、标定
3、标定结果评价
4、标定误差

1、相机模型

针孔模型
相机将三维世界中的坐标点(单位为米)映射到二维图像平面(单位为像素)的过程能够用一个几何模型进行描述。这个模型有很多种，其中最简单的称为针孔模型。针孔模型是很常用而且有效的模型，它描述了一束光线通过针孔之后，在针孔背面投影成像的关系。
畸变模型
由于相机镜头上的透镜的存在，使得光线投影到成像平面的过程中会产生畸变。因此，我们使用针孔和畸变两个模型来描述整个投影过程。

1.1、针孔模型

在这里插入图片描述

此图是SLAM的

在这里插入图片描述

此图是OpenCV的

f是摄像机焦距，Z是相机到物体的距离，X是物体的长度，x图像平面上的物体图像。
在这里插入图片描述
接着上图的，也可以这样的方式进行解读：

相机坐标系到图像物理坐标系
相似三角形
$\begin{cases}X^{\prime} =f\frac{X}{Z} \\ Y^{\prime} = f\frac{Y}{Z} \end{cases}$
矩阵形式为：
$Z\begin{bmatrix} X^{\prime}\\ Y^{\prime}\\ 1 \end{bmatrix}=\begin{bmatrix} f & 0 & 0\\ 0 & f & 0\\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} X\\ Y\\ Z \end{bmatrix}$
图像物理坐标系到图像像素坐标系
$\begin{cases}u =\frac{X^{\prime}}{dx} + c_x \\ v = \frac{Y^{\prime}}{dy} + c_y\end{cases}$
其中 $d_x$ 和 $d_y$ 是X方向和Y方向的一个像素分别占多少个长度单位。
齐次坐标下，矩阵形式为：
$\begin{bmatrix} u\\ v\\ 1 \end{bmatrix}=\begin{bmatrix} \frac{1}{dx} & 0 & c_x\\ 0 & \frac{1}{dy} & c_y\\ 0 & 0 & 1 \end{bmatrix}\begin{bmatrix} X^{\prime}\\ Y^{\prime}\\ 1 \end{bmatrix}$
相机坐标系到图像像素坐标系
$Z\begin{bmatrix} X^{\prime}\\ Y^{\prime}\\ 1 \end{bmatrix}=\begin{bmatrix} f & 0 & 0\\ 0 & f & 0\\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} X\\ Y\\ Z \end{bmatrix}$
$\begin{bmatrix} u\\ v\\ 1 \end{bmatrix}=\begin{bmatrix} \frac{1}{dx} & 0 & c_x\\ 0 & \frac{1}{dy} & c_y\\ 0 & 0 & 1 \end{bmatrix}\begin{bmatrix} X^{\prime}\\ Y^{\prime}\\ 1 \end{bmatrix}$
通过如上两个矩阵乘法公式，可以得到：
$Z\begin{bmatrix} u\\ v\\ 1 \end{bmatrix}=\begin{bmatrix} \frac{1}{dx} & 0 & c_x\\ 0 & \frac{1}{dy} & c_y\\ 0 & 0 & 1 \end{bmatrix}\begin{bmatrix} f & 0 & 0\\ 0 & f & 0\\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} X\\ Y\\ Z \end{bmatrix}=\begin{bmatrix} f_x & 0 & c_x\\ 0 & f_y & c_y\\ 0 & 0 & 1 \end{bmatrix}\begin{bmatrix} X\\ Y\\ Z \end{bmatrix}$

以上涉及到相机的内参参数和外参参数。
1）内参： $f_x$ 、 $f_y$ 、 $c_x$ 、 $c_y$
2）外参： $R$ 、 $t$

1.2、畸变模型

为了获得好的成像效果，相机前方加了透镜。透镜的加人会对成像过程中光线的传播产生新的影响:
1）透镜自身的形状对光线传播的影响;
2）在机械组装过程中，透镜和成像平面不可能完全平行，这也会使光线穿过透镜投影到成像面时的位置发生变化。

径向畸变
由透镜形状引起的畸变(Distortion，也叫失真)称为径向畸变。它们主要分为两大类，桶形畸变和枕形畸变，如图5-3所示。

对于径向畸变，成像光学中心的畸变为0，随着向边缘移动，畸变会变大。但实际上，这种畸变很小，用 $r = 0$ 附近的泰勒级数展开的前几项来描述。
1）廉价网络相机，通常取前两项 $k_1, k_2$
2）畸变很大的相机，比如鱼眼透镜，加入第三个径向畸变项 $k_3$
那么，成像装置上某点的径向位置可根据以下泰勒展示调整：
$\begin{cases} x_{distorted} = x(1+k_1r^2+k_2r^4+k_3r^6) \\ y_{distorted} = y(1+k_1r^2+k_2r^4+k_3r^6) \end{cases}$
其中(x,y)是成像装置上畸变点的原始位置； $x_{distorted},y_{distorted})$ 是矫正后的新位置。
切向畸变
相机组装过程中，不能使透镜和成像平面平行，导致产生切向畸变。

切向畸变可以用两个额外的参数 $p_1$ 和 $p_2$ 来表示；则：
$\begin{cases} x_{distorted} = x+[2p_1xy+p_2(r^2+2x^2)] \\ y_{distorted} = y+[p_1(r^2+2y^2)+2p_2xy] \end{cases}$

将径向畸变和切向畸变统一到一起，得到矫正后的位置坐标：
$\begin{cases} x_{distorted} = x(1+k_1r^2+k_2r^4+k_3r^6)+[2p_1xy+p_2(r^2+2x^2)] \\ y_{distorted} = y(1+k_1r^2+k_2r^4+k_3r^6)+[p_1(r^2+2y^2)+2p_2xy] \end{cases}$

最后，通过相机内参，得到正确的位置坐标：

$\begin{cases} u= f_xx_{distorted} + c_x\\ v= f_yy_{distorted} + c_y\end{cases}$
以上畸变模型，涉及到的未知参数为： $k_1$ 、 $k_2$ 、 $k_3$ 、 $p_1$ 和 $p_2$

2、标定

对于第一部分未知的相机内参 $f_x$ 、 $f_y$ 、 $c_x$ 、 $c_y$ 和畸变内参 $k_1$ 、 $k_2$ 、 $k_3$ 、 $p_1$ 和 $p_2$ ；通过标定来实现对这些参数的计算。

获取视频流frame，新增一个灰度值gray为frame的灰度数据；
用gray找到棋盘角点findChessboardCorners；
(可选)棋盘格上的压像素点cornerSubPix();
用frame绘制棋盘角点drawChessboardCorners();
标定函数calibrateCamera();

2.1、旋转矩阵和平移向量

三个角度 $\theta$ 、 $\phi$ 、 $\psi$ 表示三维旋转
三个参数 $x$ 、 $y$ 、 $z$ 表示三维平移

相机内参加上旋转平移参数，对于每个视场，需要10个参数。每个视场固定8个参数因为不同视角下旋转和平移的6个参数会变化，对每一个视角用来求解摄像机内参数矩阵的两个额外参数需要约束。因此求解全部几何参数至少需要两个视角。

2.2、棋盘

可以用作标定的标定板图案，有棋盘格、圆网格、随机图案、ArUco或者ChArUco图案。
在这里插入图片描述

2.3、各接口

2.3.1、找到棋盘角点findChessboardCorners

在这里插入图片描述
image：输入8bit灰度图数据
patternSize：棋盘每行和每列有多少角点，例如cv::Size(cols, rows)，此值是内角点数，比如有8x8个正方形格子，那么此处的内角点数为7*7
corners:这个接口的输出值，记录角点位置的输出矩阵，用像素坐标来表示角点位置的每个值。

2.3.2、棋盘上的亚像素角点cornerSubPix()

为了获得更准确的结果。

CV_EXPORTS_W void cornerSubPix( InputArray image, InputOutputArray corners,
                                Size winSize, Size zeroZone,
                                TermCriteria criteria );

image：8bit的灰度图数据
corners：作为输入，是findChessboardCorners接口的输出的结果；作为输出，是经过此亚像素定位接口，精确计算后的角点结果。
winSize：Half of the side length of the search window. For example, if winSize=Size(5,5) ,then a $\times (5*2+1) = 11 \times 11$ search window is used.
zeroZone：Half of the size of the dead region in the middle of the search zone over which the summation in the formula below is not done. It is used sometimes to avoid possible singularities of the autocorrelation matrix. The value of (-1,-1) indicates that there is no such a size.
criteria：Criteria for termination of the iterative process of corner refinement. That is,the process of corner position refinement stops either after criteria.maxCount iterations or when the corner position moves by less than criteria.epsilon on some iteration.

例子：

bool CalibProcessor::detectAndParseChessboard(const cv::Mat &frame)
{
    int chessBoardFlags = cv::CALIB_CB_ADAPTIVE_THRESH | cv::CALIB_CB_NORMALIZE_IMAGE | cv::CALIB_CB_FAST_CHECK;
    bool isTemplateFound = cv::findChessboardCorners(frame, mBoardSize, mCurrentImagePoints, chessBoardFlags);

    if (isTemplateFound) {
        cv::Mat viewGray;
        cv::cvtColor(frame, viewGray, cv::COLOR_BGR2GRAY);
        cv::cornerSubPix(viewGray, mCurrentImagePoints, cv::Size(11,11),
            cv::Size(-1,-1), cv::TermCriteria( cv::TermCriteria::EPS+cv::TermCriteria::COUNT, 30, 0.1 ));
        cv::drawChessboardCorners(frame, mBoardSize, cv::Mat(mCurrentImagePoints), isTemplateFound);
        mTemplateLocations.insert(mTemplateLocations.begin(), mCurrentImagePoints[0]);
    }
    return isTemplateFound;
}

2.3.3、绘制棋盘角点drawChessboardCorners()

将findChessboardCorners()找到的角点绘制到彩色图像上。如果整个图案上的角点都找到，那么点将被绘制成不同的颜色（每一行都将有自己的颜色）。
在这里插入图片描述
image：8bit彩色图像数据
patternSize：参照findChessboardCorners()接口的说明
corners：findChessboardCorners接口的输出
patternWasFound：是否整个棋盘图案上的角点都被成功找到，findChessboardCorners返回值。

2.3.4、calibrateCamera()标定函数

这个接口可以得到相机内参矩阵，畸变系数、旋转向量和平移向量；最后返回一个double值，是标定结果的精度误差值（重投影误差）与projectPoints()方法结果一致【参见第三章节《3、标定结果评价》】。
在这里插入图片描述

objectPoints：向量的向量，每个向量包含特定图像的标定图案上的点得坐标。它是一个Nx3的矩阵，包含物体的每K个点在每M个图像上的物理坐标(即 $N = K * M$ )。在使用棋盘格场合，定义坐标系使得所有棋盘上的点得 $z$ 坐标值为0，x和y坐标用其他单位度量。最简单的方式，定义棋盘的每个方块作为一个单位，假设 $S_{width}$ 和 $S_{height}$ 分别为棋盘宽度和高度方向的方块个数；则
$x,y,z)=(0,0,0),(1,0,0)(2,0,0),...(0,1,0),(1,1,0),...(S_{width}-1,S_{height}-1,0)$
此为每个图像上的K个点得坐标。如果为M个图像，则继续push back即可。
imagePoints：向量的向量Nx2矩阵，包含每个图像中找到的每个点的位置。在棋盘格场合，此变量值由M次(即M个视图)调用findChessboardCorners()的返回值构成。push back(corners)
imageSize：原图像的大小
cameraMatrix：返回的相机内参矩阵
distCoeffs：返回畸变系数，可以是4，5或者8个元素。若长度为4，则畸变系数有 $k_1,k_2,p_1,p_2$ ；若长度为5，则畸变系数比长度是4的多一个 $k_3$ （此通常仅适用于鱼眼透镜）；同理，若长度为8，则畸变系数多 $k_4,k_5,k_6$ （场景：非常高精度的特殊透镜校准；且设置CALIB_RATIONAL_MODEL）。
rvecs：每个棋盘的旋转矩阵
tvecs：每个棋盘的平移矩阵

2.3.5、solvePnP()计算外参数

某种情况下，我们只知道了相机内参，需要单独计算相机外参（正在观察的对象的位置）；此工作可以通过PnP问题进行求解，opencv给出了答案：

CV_EXPORTS_W bool solvePnP( InputArray objectPoints, InputArray imagePoints,
                            InputArray cameraMatrix, InputArray distCoeffs,
                            OutputArray rvec, OutputArray tvec,
                            bool useExtrinsicGuess = false, int flags = SOLVEPNP_ITERATIVE );

objectPoints：
imagePoints：
cameraMatrix：
distCoeffs：
rvec：
tvec：
useExtrinsicGuess ：
flags ：

3、标定结果评价

通过摄像机内外参数，对空间的三维点进行重新投影计算，得到空间三维点在图像上新的投影点的坐标，计算投影坐标和亚像素角点坐标之间的偏差，单位是像素。

CV_EXPORTS_W void projectPoints( InputArray objectPoints,
                                 InputArray rvec, InputArray tvec,
                                 InputArray cameraMatrix, InputArray distCoeffs,
                                 OutputArray imagePoints,
                                 OutputArray jacobian=noArray(),
                                 double aspectRatio=0 );

objectPoints：每个视图下标定图案上的点的坐标；即calibrateCamera()标定接口参数objectPoints的objectPoints[i]；
rvec：标定接口calibrateCamera()计算出来的每张视图的旋转矩阵；
tvec：标定接口calibrateCamera()计算出来的每张视图的平移矩阵；
cameraMatrix：标定接口calibrateCamera()计算出来的内参矩阵；
distCoeffs：标定接口calibrateCamera()计算出来的畸变系数；
imagePoints：本投影接口计算得到的投影点坐标；
jacobian：（可选）jacobian matrix of derivatives of image points；
aspectRatio：（可选）“fixed aspect ratio” parameter. If the parameter is not 0, the function assumes that the aspect ratio $f x / f y$ is fixed and correspondingly adjusts the jacobian matrix。

例子：

        vector<Point2f> imagePoints2;
		int i, totalPoints = 0;
		double totalErr = 0, err;
		for (int i ; i < (int)objectPointsList.size(); i++)
		{
			projectPoints(Mat(objectPointsList[i]), rvecs[i],  tvecs[i],
				cameraMatrix, distCoeffs, imagePoints2);
			err = norm(Mat(imagePointsList[i]), Mat(imagePoints2), NORM_L2);
			int n = (int)objectPointsList[i].size();
			totalErr += err * err;
			totalPoints += n;
		}
		double error = std::sqrt(totalErr / totalPoints);
		cout << "error: " << error << endl;

4、标定误差

4.1、介绍

误差是衡量标定效果的重要指标，一般指标定点在图像上的投影位置和实际位置之间的差距。误差越大，标定结果越不准确。
误差主要受到两个因素的影响：一是畸变，二是标定参数的准确度。畸变是相机镜头成像时的一种误差，会导致图像中物体的实际形状和大小与其在图像中的形状和大小不一致。而标定参数的准确度则决定了计算图像中物体真实坐标的准确度。

常见值
比较常见的误差在0.5到1像素之间。

4.2、影响误差的因素

常见的因素如下：

标定图像质量：标定图像质量越好，误差就越小。标定图像应该视角平直、光照均匀、分辨率高，标定点位置清晰明确。
标定板大小：标定板越大，误差也就越大。因为较大的标定板会使相机成像时出现更多的畸变，从而影响标定结果。一般来说，标定板大小应该根据相机视角和距离来进行选择。
相机镜头型号：不同品牌、型号的相机镜头误差范围也有所不同。因此，在进行标定前要了解相机的镜头型号和特点，并根据实际情况进行调整。
标定板和相机的相对位置：标定板和相机的相对位置也会影响标定结果。如果标定板和相机的距离太近或者太远，都会导致误差范围增大。

4.3、误差优化

提高标定图像质量：保证标定图像视角平直、光照均匀、分辨率高，标定点位置清晰明确。
选择合适的标定板大小：根据相机视角和距离选择标定板大小，并保证标定板与相机的相对位置合理。
根据相机镜头进行调整：了解相机镜头的型号和特点，进行调整。
重复标定：如果在第一次标定中误差范围较大，可以尝试多次标定，取平均值作为最终结果。
不同的视角和角度拍摄图像：这些角度之间的差异尽可能大(所有三个欧拉角都应该变化)，但这样图案直径仍然适合相机的视野。你使用的视图越多，校准效果就越好。这是必要的，因为在校准过程中要检测焦距和畸变参数，因此通过最小二乘法获得它们需要不同的角度。如果你不移动相机，你就不会得到新的信息，校准是无用的。捕获正面平行图像视图和与板倾斜到+/- 45度在水平和垂直方向拍摄的图像。避免过度倾斜，因为它可能会影响特征定位的准确性。
适当的照明：强烈建议使用调节的摄影照明均匀地照亮校准目标。使用强烈的点光源会造成不规则的照明，导致检测失败和相机动态范围的不良利用。阴影也会产生同样的不良效果。
足够数量的不同角度视角的拍摄图像：理想情况下，应该使用至少六个校准目标的实例(观察(图像))。

总之，进行摄像机标定时，需要注意以上几个方面，通过合理的调整，可以使误差范围得到有效控制，获得更加准确的结果。