多传感器标定——相机内参标定

一、前言

之前写过一篇文章（相机内参、外参、畸变系数简介），感觉应该把这几个东西说的还算明白，但是里边并没有深究该如何进行标定，正好在这次学习中进行补充。
我面试时的体验就是，如果你没有那种一眼吊的科研成果，那么项目中再大的创新也就那么样，不如把时间花在了解项目细节上，比如内参标定到底是怎么实现的，而不是面试官问起你这个问题，你只能跟我一样傻笑道我调了opencv的库。。。。。。接着面试官又问，函数的每个输入输出都是什么？对不起，沉默是今晚的康桥。。。。。。哥们都是现用现百度。

二、内参标定流程

1. 标定板准备
   标定板种类有很多种，棋盘格、圆点阵、ChArUco板。为了避免歧义性——指定的3D角点坐标与算法输出的角点像素坐标存在多种对应关系，棋盘格和圆点阵的关键点阵列尺寸都是奇数×偶数，并且圆点阵是非对称排列的，以保证匹配的唯一性。ChArUco板长很像是一堆二维码，不像前两种板需要所有关键点都出现在视野中，ChArUco板允许出现遮挡。
   

   我只用过前两种，实际用下来感觉精度没有很大差别？但是由于我的应用场景是机器人的手眼标定，所以更喜欢使用棋盘格，因为棋盘格更容易验证标定精度。至于到底哪个更好，好像也没个确切结论，大多数人可能是因为opencv里说非对称圆点阵更好就认为它更好，但是一篇论文中说可能棋盘格会是更好的选择？观点来源

   至于标定板的制作，需要考虑到你的精度要求。你当然可以自己打印贴在板子上，但据我自己经验，打印出来的尺寸总跟我设计的尺寸有点差别，不清楚是不是打印设置的原因，还得用尺子去量，并且贴在板子上也不会完全平整，这都引入了误差，只适合于用在一些低精度要求的场景下。也可以直接淘宝解君愁，你会猛的发现，高精度的标定板居然可以那么贵。。。。。

2. 拍摄标定图像
   在不同位置或角度下，使用相机拍摄多张包含标定板的图像，尽量覆盖整个图像传感器的视场。我之前搞机器人手眼标定是拿了一块标定板，不断变换机器人位姿去采集图像，为了获得更好的效果，两次采集之间的位姿还有要求，采数据搞得我很痛苦，但现在发现是贫穷限制了我的想象，完全可以固定机器人，在视场中摆放各种标定板。
   

3. 对采集到的图像做特征点提取，获得像素坐标

4. 对焦距、主点和镜头畸变进行估计

5. 计算重投影误差
   这边记录一个问题，计算重投影误差只能评估标定好坏？还是说可以做类似反向传播的过程，进一步优化内参参数。（最开始授课老师说可以，但是后边提到的只是其评估作用，比较疑惑）

比较常用的标定方法是张正友标定法，理论推导可以参考这篇链接，写的很详细参考文章

下面仅作为我自己的简单记录，没啥必要看
1. 将图像视作无畸变计算内外参（先算H，再算B，再算A，再求G）
2. 用内外参将3D坐标（认为指定的）变换成像素坐标，视作无畸变坐标
3. 采集图像中提取出的角点是有畸变坐标，无畸变为输入，有畸变为输出，求解畸变系数
4. 循环几次，直至误差满足要求
注：求解的最低要求是，每张图片上至少4个角点以满足对H的求取（齐次矩阵，8个自由度，每个角点uv提供两个方程）。至少3张标定板图片完成对B的求取（B是$A^{-T}{A}^{-1}$，3*3对称，所以有6个自由度）。

三、如何提升标定精度

• 提高数据质量：一方面提高标定板制作精度，另一方面采集的数据也要尽量高质量（不同角度、不同距离的数据都要有；要尽量覆盖全部视野；采集到的数据要完整清晰）
• 选取更高精度的模型：张正友标定模型中只考虑了两项畸变系数，并且也不适用于FOV特别大的鱼眼镜头，当FOV超过170°时可以选用OCamCalib模型
• 标定存在随机性，可以多次标定取平均值

四、精度验证

• 观察图像是否正常
• 计算重投影误差：但重投影误差只能评估标定结果在当前数据集上的表现
• 直线度检测（这地方没看明白怎么做的）
  

五、内外参联合标定

这部分完全听不懂在干什么，课上说这个方法出自mobileye，得查一下

课件里这部分说的是相机和雷达之间的外参，与自车之间的目前还不知道如何标定

最终目标是希望相机视野中各个区域的像素都能和雷达精确的配准

下面的图展示了，分开标定和联合标定的差异，a是分开标定的原图，b是分开标定的结果图，cd是联合标定的图。
尽管b中畸变去除的已经比较好了，但可能是内参标定时候其他系数有误差，导致相机与雷达对不齐。而联合标定会对参数做迭代优化，使得最终结果尽可能对齐。本质上就是开环和闭环的区别喽~