相机标定笔记(2) -- 标定实践

标定板

为什么需要标定板?

        相机标定的第一篇笔记中提到了相机标定所使用的模型，标定算法中我们需要一些可靠的样本点，这些样本点由世界坐标系中的3D点和其在图像上的2D像点组成。用这些2D和3D点对来求解标定参数。为了构建更高精度的3D和2D点，就需要使用标定板。

标定板的基本要求

        标定板的精度（平整度）：3D点要求是共面的，标定点的坐标精度是准确的。

        标定板的稳定性：降低温度膨胀系数。标定板的材质温度膨胀系数要尽可能小。

        标定板的均匀性（背光源）：要求标定板有背光的原因是尽量减少图像受环境光的干扰。

        Pattern设计要求：

                a. 便于特征点提取（如角点或圆心)；

                b. 特征点的坐标无歧义，比如对于棋盘格这种有规律的pattern，要求棋盘格图像整体的大小不要充满整个图像，比如只占拍摄图像的1/2。

                关于b点，我们假设棋盘格图像是充满整个拍摄图像的，在双目视觉中，假设左右相机所拍摄到的画面如下图（仅做说明，并非真实情况）： 

         红色框框是左边相机所拍到的画面，蓝色框框是右边相机所拍到的画面。那么此时做左右画面的特征匹配的时候，由于棋盘格的规律性很强，此时匹配左右画面中相同的方块特征的时候，要找到匹配的方块是比较困难的，会误判。

         关于b点，还有一种做法是，在pattern设计上加入一些tag用于区分有规律的图像。要求在标定过程中这个tag一定要能被拍摄到用来做参考位置。具体例子如下图所示的一些带标记的标定板：

 标定板对标定精度的影响

        一般来讲，圆形（圆环）标定板的提取精度高于棋盘格的提取精度。主要原因是对于棋盘格来讲，边缘位置在实际相机所拍摄的图像来看，受到光的影响和sensor本身噪声影响，所得到的灰度可能会有明暗差别，导致计算棋盘格角点位置的时候会有误差。而圆形或圆环的拟合中，半径多一点或少一点，对于圆心位置的计算影响相对较小。

        参考论文：Accurate Camera Calibration using Iterative Refinement of Control Points

        链接：https://www.ri.cmu.edu/pub_files/2009/10/Calib.pdf

标定步骤

标定结果评估

主要关注标定精度和鲁棒性两方面

对于标定精度，常见评估方法有：

        重投影误差

        对于双目：可以采用极线校正的精度进行评估

        对于结构光：图像校正的精度

        针对标准件的3D重建的精度（如标定板）。通过将图像坐标系的2D点反投影到相机坐标系中，计算标准件特征（比如两个圆心的距离）的物理距离。看看和标准件的实际距离的差异。

关于重投影误差的参考资料，可以参考这篇文章：

一文读懂重投影误差_少杰很帅的博客-CSDN博客_重投影误差重投影误差1、重投影误差的作用在计算机视觉中，经常会用到重投影误差（Reprojection error）。比如在计算平面单应矩阵和投影矩阵的时候，往往会使用重投影误差来构造代价函数，然后最小化这个代价函数，以优化单应矩阵或者投影矩阵。之所以使用重投影误差，是因为它不光考虑了单应矩阵的计算误差，也考虑了图像点的测量误差，所以其精度会更高。2、重投影误差的含义首先我们从字面意思来理解，重投影的意思就是第二次投影。有第二次投影，就有第一次投影。　　其实第一次投影指的就是相机在拍照的时候三维空间点投影到https://blog.csdn.net/weixin_49804978/article/details/121922128