AR/VR/MR中的畸变处理

本文主要讨论: AR/VR/MR (下文统称为XR)的成像，图像为何需要产生畸变?这样做是为了什么？

一、几何光学的角度来看问题

从XR产品的原理上，这是一个光学和软件高度耦合的产物，我们先初窥其中的光学原理。
在AR/VR产品出来之前，涉及到几何光学的产品，主要就是我们的相机。
相机和XR产品的光路上本质是一样的，从几何光学的角度来看，两者之间的差别，只是光的方向不同:

1. 相机中，光是从外到内，即从画面(看到的画面)到图像(图像传感器)
2. XR中，光是从内到外,即从图像(显示屏，包括OLED, Micro LCD等)到画面(看到的画面)。

我们可以从相机的成像说起。相机镜头的视场角(FOV)是一个很重要的指标,对于同样的视野大小，我们来看两款不同FOV镜头的设计:

两个设计中，镜头的视场大小(画面水平尺寸大小)都是100mm，但是工作距离不一样, 镜头的视场角（FOV）也不一样，
左图的WD(working distance 工作距离)大概只有右图的四分之一，光路的差别如下:

1. 左图中，光线会以极端的角度透过左边的镜头，而视场边缘的光线（洋红色/红色）的路径比视场中央的光线（蓝色）的路径来得长。
2. 右图中的镜头能够以较浅的角度和较小的路径距离差别取得相同的视场。

显而易见，左图的不同光路的入射角的差别，相比右图的差别更大。
左图这样做，通过更大的FOV，可以在更近的拍摄距离下，拍摄同样大小的画面

换个角度来看左图这个设计:

如果1.2所示, 有A, B, C, D 四条光线，它们之间满足一定条件:

1. 在相机传感器上的相隔的距离都为ΔS
2. 通过镜头的折射角都为α(相同材质，折射角相同)

从A->B->C->D, 四条光线与垂直方向的夹角越来越大，垂直方向的投影也增大，可以得到:
ΔF3 > ΔF2 > ΔF1
随着镜头角度的增大，这个ΔFn会越来越大。
这就意味着:

1. 尺寸一样的物体，通过镜头后，越靠近边缘的物体，在相机成像上显得更小。
2. 同样的拍摄画面，镜头FOV越大，边缘的缩放(畸变)越明显

回到图1两个镜头的设计，可以得知，左边的镜头为了在更近距离拍摄同样大小的画面，
采用了更大FOV的镜头，导致相机Sensor成像后边缘画面的缩放越大。
也就是我们常说的镜头的FOV越大，畸变越大。这个畸变的形状像个水桶，我们也叫它桶形畸变。

二、XR设备中的图形畸变

我们常说VR设备有更好的沉浸感，如同一个巨幕投影在眼前。
参考第一章所提到的几何光学原理，类似于大FOV相机镜头的拍摄原理,
XR设备的镜头拥有较大的FOV， 在更近投射距离下，投影更大的画面。
那就不难理解，我们要看到正常的画面，就需要提前准备好桶形畸变的画面，这样就可以看到这个"巨幕"了。

如图2.1所示，右边的畸变图像是显示屏的原画面，通过镜头(如图2.2)后，可以恢复成正常图像，这样就实现了在近距离投射大尺寸画面。

假设我们用一张正常的图像经过VR镜头的观看，那么会产生**“枕形畸变”**(如图2.3所示)

总结以上的讨论，可以描述成: XR设备的镜头，如图2.4所示， 镜头把显示屏的桶形畸变(右边)，叠加一个枕形畸变(中间)，从而看到的是正常图像(左边)。

后续章节会继续讨论： 如何通过软件实现畸变处理
感谢阅读，如有遗漏或不正确的地方，欢迎讨论交流~