成像到sensor前发生了什么——坐标和畸变

1小孔成像模型

墨子就记录了小孔成像是倒立的。这从几何光学的角度是很好理解的：光沿直线传播，上方和下方的光线交叉，导致在成像平面位置互换。

1.1小孔的大小有什么影响？

小孔越大，进光量变大了，但是成像平面上一个点来源于物体的多个点，相当于画画的笔触越粗，所成的像也越模糊。

但是小孔越小成像就越清晰吗？先不说技术上无法实现，孔越小，光的衍射diffraction现象会越明显，光要越过障碍物，会出现水波纹：

1.2小孔的形状有什么影响？

无论小孔什么形状，物体的每个位置会穿过小孔，在平面投下小孔形状的图案。但结果小孔的物体有无数道光线，所以最终成像来看没什么差异。正如前面的比方，改变小孔的形状，也可以理解为笔触的不同。

2坐标变换

2.1世界坐标到相机坐标

相机坐标系的原点是光心。世界坐标系到相机坐标系，是一个仿射变换：旋转+平移。

2.2相机坐标到传感器坐标

图像坐标系是以传感器sensor为原点的，所以相机坐标系到图像坐标系就是一个缩放变换。

由三角形相似可以得到，缩小的尺度就是焦距f和物距的比值。

2.3传感器坐标到像素坐标

像素坐标是离散化的，它是以传感器坐标以像素长宽为单位得到的。因为图像一般以左上角为原点，所以传感器坐标到像素坐标还需要一次平移。

2.4内参和外参

前面从世界坐标系到像素坐标系经历了三次坐标变换。第一次涉及到的的平移和旋转构成了外参矩阵，后两次构成了内参矩阵。

外参有6个参数，3个控制旋转，3个控制平移。

内参有10个参数，其中五个是，分别表示焦距，像素宽度，像素高度，图像宽度，图像高度。另外五个控制畸变。

3畸变

3.1近大远小

在相机坐标系到传感器坐标系转换中，涉及到了焦距和物距：

由上面的坐标变换公式可以看到， 成像大小与物距成反比，焦距成正比。这就可以解释透视关系中的近大远小。

那么是不是焦距和物距等比例同时放大缩小，成像就不变？理论上是这样的，但是物体不是一个平面，不同位置到镜头的距离是不一样的，没办法保证所有的点同时满足等比例变换，所以就会产生透视畸变：前景处被放大，背景处被缩小。

这就可以解释为什么拍特写摄影师都推荐用长焦。虽然剧烈近一点用短焦也可以拍出差不多大的像，但是因为焦距小，物距的微小变化就会被放大，导致畸变严重。

3.2切向畸变

借鉴近大远小的分析，即便是平面物体，当平面和镜头不平行时，就产生了切向Tangential畸变。

3.3径向畸变

径向是指半径的方向。因为镜头制作工艺，图像中心和边缘的折射有差异，所以产生了径向畸变。径向畸变又分为桶形畸变和枕形畸变：

很显然，径向畸变是关于半径r的函数，所以一般建模为r的指数多项式。

reference：

1. https://zhuanlan.zhihu.com/p/95059112

2. https://www.zhihu.com/question/363078768

3. Aachen Day-Night dataset，intrinsic.txtBenchmarking Long-term Visual Localization

4.Step1：模型 16个相机参数（内参、外参、畸变参数）-CSDN博客

5.Computer Vision

6.相机标定(Camera calibration)_也就是求投影矩阵p的过程-CSDN博客