一文搞懂相机成像原理及经典解算方法

在计算机视觉中，三维重建作为物理环境感知的关键技术之一，可用于航天飞行、遥感测绘、智慧城市、数字文博、自动驾驶、虚拟现实、数字孪生等场景。基于图像的三维重建技术的实质就是利用照相设备或者录像设备采集的、对显示三维场景或者物体离散的二维图像作为基础数据，经过处理得到场景或者物体的三维数据信息，从而生成真实的场景或者物体，然后通过合适的空间模型把全景图像组织为虚拟的实景空间，用户在这个空间中可以前进、后退、环视、近看、远看等操作，实现用户全方位观察三维场景的效果。相机位姿的精准估计是三维重建、视觉同步定位和建图等方向的重要研究内容，包括恢复场景结构、相机位姿、和相机参数计算。

在人工智能快速发展的现在，计算机视觉是不可绕开的点。

1

相机模型有哪些？

n相机成像模型主要包括针孔模型(pinhole model)和全向模型(omnidirectional model)

n畸变模型主要包括切向径向畸变(RadTan，radial-tangential distortion)、视野畸变(FOV,field of view)和等距畸变(Equidistant,EQUI)等

n采用不同的相机成像模型和畸变模型进行建模描述，会有专门的名字来命名。

    MEI Camera: Omni + Radtan

    Pinhole Camera: Pinhole + Radtan

    Atan Camera: Pinhole + FOV

n在相应的视觉SLAM算法中往往涉及支持多种相机模型，在opencv中也有相应的相机模型，如下所示：

DSO：Pinhole + Equi / Radtan / FOV  

VINS：Pinhole / Omni + Radtan  

SVO：Pinhole / atan / Scaramuzza

OpenCV：cv: pinhole + Radtan ,

                 cv::fisheye: pinhole + Equi ,

                 cv::omnidir: Omni + Radtan

2

相机是如何成像的？

从针孔模型中，我们可以找到一个特征，那就是现实世界的任一点、其在成像平面上的投影点、相机中心在一条直线上，这种特征称为中心投影或者透视投影，也是做成像分析的基础。透视投影将三维空间投影到二维平面上，是一种降秩空间透射变换（三维空间降成了二维空间）。

 

3

相机标定坐标系

1、影像坐标系

是一个二维坐标系。

像主点：是摄影中心到成像平面的垂点

像素到物理尺寸的转换关系，即一个像素的物理尺寸：

2、相机坐标系

是一个三维空间坐标系，是影像坐标系和世界坐标系之间联系。

在建立相机坐标系时，有一个很关键的考量是如何能更好的把影像坐标系（二维）和世界坐标系（三维）之间联系起来。

两个三维坐标系（相机和世界）之间的转换用旋转和平移就可以方便表达，重点是三维的相机坐标系和二维的影像坐标系之间如何更好转换。

最后相机坐标到uv坐标的转换公式为

3、世界坐标系

世界坐标系和相机坐标系都是三维坐标系，它们之间可以用旋转平移来做转换。

外参矩阵也是相机的关键参数之一，由一个3x3的单位正交旋转矩阵 R和3x1的平移矢量t组成，它们描述的是世界坐标系到相机坐标系之间的转换关系。

在不同学科中外参矩阵会有一些定义区别，比如在摄影测量学科中，将相机坐标系转换到世界坐标系的旋转矩阵R以及摄影中心在世界坐标系中的位置C作为外参。它们目的一致，都是为了描述相机和世界坐标系之间的转换关系。

用一个简单表达式来描述世界坐标系到相机坐标系的变换：

4

相机参数的意义

相机中有四个坐标系，分别为{world}，{camera}，{image}，{pixel}。

R、T、K、D中包含相机的5个内参，6个外参，5个畸变参数。

n从{world}到{camera}

n从{camera}到{image}

n从{image}到{pixel}

n综合：从{world}到{pixel}

参考内容：

透镜畸变及校正模型

https://blog.csdn.net/dcrmg/article/details/52950141

What Is Camera Calibration?

https://ww2.mathworks.cn/help/vision/ug/camera-calibration.html

立体视觉入门指南（1）：坐标系与相机参数

https://zhuanlan.zhihu.com/p/374269239

立体视觉入门指南（2）：关键矩阵（本质矩阵，基础矩阵，单应矩阵）

https://zhuanlan.zhihu.com/p/377794028

模型 16个相机参数（内参、外参、畸变参数）

https://blog.csdn.net/weixin_43206570/article/details/84797361

单目摄像机标定参数说明

https://blog.csdn.net/xuelabizp/article/details/50314633

相机的成像模型(Pinhole + Omni)和畸变模型(RanTan, FOV, EQUI)

https://blog.csdn.net/qq_40618821/article/details/117966536

【slam， ransac是求解方法】基础矩阵，本质矩阵，单应性矩阵讲解

https://blog.csdn.net/u013019296/article/details/108820110

单应矩阵 基本矩阵 本质矩阵的区别与联系

https://blog.csdn.net/qq_44884706/article/details/89667970

这次终于彻底理解了奇异值分解(SVD)原理及应用

https://mp.weixin.qq.com/s?__biz=MzU0MDQ1NjAzNg==&mid=2247532392&idx=3&sn=11216cf29892b9ed97d6586b74900be2&chksm=fb3ada63cc4d5375de42f3dc013972d3a7b5887f3dbbc71bb3ac2151bc6b5871fb10cf0d8b10&scene=27

RANSAC算法——看完保证你理解

https://blog.csdn.net/zhoucoolqi/article/details/105497572

什么是ransac算法？

https://www.zhihu.com/question/518518415

RANSAC算法理解

https://blog.csdn.net/robinhjwy/article/details/79174914

3D-2D：PnP算法原理

https://blog.csdn.net/u014709760/article/details/88029841?spm=1001.2101.3001.6661.1&utm_medium=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7ERate-1-88029841-blog-124584511.pc_relevant_vip_default&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7ERate-1-88029841-blog-124584511.pc_relevant_vip_default&utm_relevant_index=1

3D-2D：PnP算法原理

https://blog.csdn.net/weixin_44197735/article/details/124341862

一文详解PnP算法原理

https://zhuanlan.zhihu.com/p/423797592

MLpnp论文阅读及算法思想

https://blog.csdn.net/joun772/article/details/119409329