一分钟详解鱼眼镜头标定基本原理及实现

前言

在VSLAM中，经常会使用鱼眼镜头或者广角镜头。本文主要分为理论部分与鱼眼镜头标定实践两部分，其中理论部分，主要参考《A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses》，作者为Juho Kannala和Sami S. Brandt，写于2006年，同时这篇文章的作者在2004年也写了一篇与鱼眼镜头标定相关的论文《A Generic Camera Calibration Method for Fish-Eye Lenses》，同样值得参考。

一 理论部分

对于大多数具有窄角甚至广角镜头的传统相机，针孔相机模型伴随着镜头畸变是一个比较不错的近似。但是针孔模型不太适用于鱼眼镜头。鱼眼镜头一般被设计用来覆盖相机前方的整个半球形视场，视角非常大，约180°。然而，不可能通过透视投影在有限的图像平面上投射半球形视场。因而，鱼眼镜头服从某些其他投影模型。这就是为什么鱼眼镜头本身固有的畸变不应该仅被认为是与针孔模型的偏差。

很多作者对鱼眼镜头的适合的可能模型进行了研究。许多方法的思想是将原始鱼眼镜头成像为遵循针孔模型，畸变参数是通过变换后强制按直线来估计的，但问题是这些方法并不能完全校准。最近，鱼眼镜头相机的第一种自动校准方法也出现了，Claus 和Fitzgibbon[1]提出了一种畸变模型，它同样允许相机运动和镜头几何的同时线性估计，而Thirthala和Pollefeys[2]使用径向一维摄像机的多视图几何来估计非参数相机模型。此外，Barreto和Daniilidis最近的工作引入了径向基本矩阵来纠正广角镜头的失真[3]。然而，这些方法的重点更多的是在于自动校准技术，而不是真实镜头的精确建模。

由于透视投影模型不适用于鱼眼镜头，我们使用更灵活的径向对称投影模型。

不失一般性，甚至权重都被取消了。这是因为我们可以将r作为奇函数扩展到负数一侧，而奇数幂跨越连续奇函数集。对于计算，我们需要确定（6）中的各项。

为了使得本文不那么枯燥，关于鱼眼镜头标定的理论部分我们仅介绍到这里，如果感兴趣的读者，可以去仔细研读论文《A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses》。

二 实践部分

在上述论文作者的主页，作者提供的Matlab标定代码：Camera Calibration Toolbox for Generic Lenses：http://www.ee.oulu.fi/~jkannala/calibration/calibration.html。

此处，笔者简单为大家介绍一下OpenCV中关于鱼眼标定的流程。

首先，可以参考OpenCV Documentation中提供的鱼眼镜头标定相关函数：

https://docs.opencv.org/3.2.0/db/d58/group__calib3d__fisheye.html

具体鱼眼镜头标定步骤如下：

本次实验，使用小觅相机（标准版）进行实验，小觅相机的镜头视角较大，大约在140°左右。小觅相机实物如下图2所示。

图2 小觅相机（标准版）实物图

Step-1: 制作标定板。可以是圆，也可以是棋盘格，当然也可以是圆环。此处我们选择4*11的OpenCV提供的圆形标定板。为了使得标定结果趋于收敛，在工作距离附近，在不同姿态下，采集近20~30张标定图片，如下图3所示。

图3 标定板采集样图

Step-2：进行形态学处理。此处是由于在采集图片过程中，难免会在图片中引入环境光带来的噪声。

Step-3：检测每一张图片中的圆心角点坐标,并排序。（OpenCV中findCirclesGrid函数同时解决了这个问题）。

Step-4: 进行标定。（cv::fisheye:calibrate）

Step-5: 计算重投影误差。在Step-3中，cv::fisheye::calibrate返回值为总重投影误差，当然也可以进一步计算x和y方向的重投影误差值。

Step-6：（此步非必须）进行去畸变，进一步验证标定参数的正确性。

组合使用函数：

1)fisheye::estimateNewCameraMatrixForUndistortRectify
2)cv::fisheye::initUndistortRectifyMap
3)remap

即获得畸变矫正后的效果图。

经过鱼眼标定后，使用标定好的参数进行去畸变后效果图（使用函数

void estimateNewCameraMatrixForUndistortRectify(InputArray K, InputArray D, const Size &amp;image_size, InputArray R,<br>&nbsp;&nbsp;&nbsp;&nbsp;OutputArray P, double balance = 0.0, const Size&amp; new_size = Size(), double fov_scale = 1.0）

进行估计新的相机矩阵用于畸变矫正或者校正时，图4为参数balance设为0时的畸变矫正效果图，图5为参数balance设为1时的效果图）。

图4 鱼眼模型标定后，畸变矫正，balance=0时

图5 鱼眼模型标定后，畸变矫正效果图，balance=1.0时

如果选用针孔模型来进行标定，去畸变后的效果图如下所示。

使用针孔模型进行标定后，同样对图3进行去畸变效果图如下（图6为balance=0,图7为balance=1时）：

图6 针孔模型标定后，畸变矫正效果图，balance=0时

图7 针孔模型标定后，畸变矫正效果图，balance=1时

由图可见，使用针孔模型去畸变后，整个画幅的图像的畸变不符合「枕形」或者「桶形」，因而使用针孔模型来进行标定鱼眼镜头是不太适合的。

三 跋

最后，留个大家一个问题可以去思考，作者在文章中提到，对于圆形的中心在经过透视变换后，由于较大的畸变存在，椭圆的中心已经不再对应圆形的中心。那么，对于椭圆的中心构象偏差，又该如何去矫正呢？

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「计算机视觉工坊」公众号后台回复：深度学习，即可下载深度学习算法、3D深度学习、深度学习框架、目标检测、GAN等相关内容近30本pdf书籍。

下载2

在「计算机视觉工坊」公众号后台回复：计算机视觉，即可下载计算机视觉相关17本pdf书籍，包含计算机视觉算法、Python视觉实战、Opencv3.0学习等。

下载3

在「计算机视觉工坊」公众号后台回复：SLAM，即可下载独家SLAM相关视频课程，包含视觉SLAM、激光SLAM精品课程。

重磅！计算机视觉工坊-学习交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有ORB-SLAM系列源码学习、3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、深度估计、学术交流、求职交流等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~