3.额外器件-光场相机

重灾区

已于 2022-10-21 15:45:17 修改

阅读量1.7k

点赞数 19

文章标签：计算机视觉

于 2022-06-29 20:52:17 首次发布

本文链接：https://blog.csdn.net/weixin_45198685/article/details/125526361

版权

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

光场成像&光场相机

前言
一、光场是什么？
二、光场采集
三、基于微透镜阵列的光场成像
参考

前言

所有po文有关三维测量的研究：

利用光场相机可以进行多方向深度估计的。由于光场摄像机可以同时记录入射光线的位置和方向，因此可以认为有许多摄像机在测量不同的观看位置的场景。然而，光场成像的瓶颈是图像分辨率，这将制约重建三维结果的质量。

一、光场是什么？

1.光场

光辐射的场分布称为光场，而光场成像指的就是光场的采集以及将光场处理为图像的过程。
光场成像体现出的优势在于：
一，任一深度位置的图像都可以通过对光场的积分来获得，因而无需机械调焦，同时也解决了景深受孔径尺寸的限制；
二，在积分成像之前对光福射的相位误差进行校正，能够消除几何像差的影响；
三，从多维度的光福射信息中能够实时计算出目标的三维形态或提取出其光谱图像数据。
光场获取方式主要分为三种：相机阵列、基于微透镜阵列的光场相机以及基于掩膜的光场相机。

2.光场成像的基本理论

１９９１年，Ａｄｅｌsｏｎ首次给出了全光场函数，指出物体上的任意一点发出的光线，其连续分布辐射可以用一个七维全光场函数来表示：
Ｐ＝Ｐ(ｘ,ｙ,ｚ,ａ,β, φ, δ)
其中(ｘ,ｙ,ｚ,ａ,β, φ, δ)描述了δ时刻入射到点(ｘ,ｙ,ｚ)的光线，(ａ,β)为方向，φ为波长。由于物体的光场函数数据量较大，难以捕获，因而若只考虑光线在自由空间的传播，δ时刻波长为φ的光线可以用五维函数来表示：
Ｌ＝Ｌ(ｘ,ｙ,ｚ,ａ,β)
式中(ｘ,ｙ,ｚ)表示空间目标的三维坐标，(ａ,β) 分别为仰角和俯角。进一步，依据光场的渲染理论，可以忽略光线在空间中传播的衰减，用两个相互平行的平面将光场数据进行参数化表达，从而可以将五维的光场函数模型缩减到四维空间，对光场进行四维参数化表示，即光场的双平面参数（２ＰＰ）表示方法。
在这里插入图片描述
如图２.1 所示，光线与透镜平面和传感器平面相交于(u,v)和(x,y)两点，形成了一个四维光场函数Lf(u,v,x,y)，其中u-v表示透镜所在平面， x-y表示传感器成像平面，Ｆ为透镜平面和传感器平面之间的距离，Lf为光场在空间的辐射能量，(u,v)和(x,y)两点分别为光线与透镜平面和传感器平面的交点，因此，可以用一个四维函数来表示光场空间。

3.光场的数据表示

光场极平面图像
Ｗａｎｎｅｒ等人用２ＰＰ参数化平面对光场进行描述，可以看作是从平行于传统图像平面不同视点子图像的集合，如下图所示。光场相机的显著优点是能够将视差空间扩展至连续空间，并且外极线平面图像（ＥＰI图像）可以看做是对光场的在固定空间和固定角度方向上的二维切片。
光场多视角图像的渲染
多视角图像是指从不同视角捕获的同场景的多幅图像，每个视角的图像是对其对应微透镜所采集的所有光线在方向上的编码，称为一个子孔径图像。也就是说子孔径图像下覆盖的像元数目等于相机的角度分辨率的大小。对于不同景深的物体，子透镜图像中将会出现不同程度的叠加区域。因此通过计算三维场景空间中的任意点在不同视角图像中的视差，可以得到该点的三维坐标值，从而精确有效地捕获场景的深度信息。

根据光场多视角图像的形成过程可知，其多视角的空间分辨率取决于微透镜阵列的大小，子孔径图像对应的像素数即为光场相机的角度分辨率的大小。示例图ａ显示的多视角图像空间分辨率为３×3，角度分辨率为３ｘ４。
光场图像焦堆栈图像提取
将光场相机捕获的四维光场数据在不同深度的成像平面进行积分能够获得清晰聚焦在该平面的图像，这技术称为数字重聚焦。

二、光场采集

1.多相机光场采集

多相机光场采集通过多个相机的分布来获取目标不同视点位置的阅像。
在这里插入图片描述
图1 基于二维移动平台的光场采集和成像应用

2.单相机光场采集

1992年，E.Adelson和J.Wang设计了一种全光相机(Plenoptic camera)的原理结构，如图2所示，主要由主镜头、微透镜阵列和成像探测器组成。探测器与主镜头的光瞳关于微透镜共辄，主镜头出射的光线经过每个微透镜后投影到该透镜后面所对应的若干像元上，这些像元共同组成一个“宏像素”(Macropixel)。每个宏像素的坐标对应目标像点的几何位置，而宏像素中所覆盖的每个探测器像元则代表目标的不同视角信息。图中的设计中还包含一个光学扩散片(Diffuser)和一个场镜(Field lens)。扩散片的作用在于消除高于微透镜阵列采样频率的高频成份，类似于摄影相机中常用的低通滤镜;而场镜则是为了将宏像素对齐到微透镜所在的位置。
在这里插入图片描述
图2 全光相机结构

2005年，R.Ng 等人简化了全光相机的设计，在常规摄影相机的基础上制成手持式全光相机（光场相机)。R.Ng等通过特殊设计的结构将探测器芯片直接安装在微透镜阵列的焦面上，从而减少了中继镜头所带来的额外尺寸以及渐晕效应。
在这里插入图片描述
图3 光场相机
对二维光场图像中的像素进行重新排列，得到四维光场矩阵，将四维光场重新投影到新的像平而进行积分叠加，就可以获得不同像平而上的对焦图像。这一对焦过程完全依靠数字计算来完成，而非传统的机械对焦方式，因此称之为“ 数字对焦” 。图给4出广光场相机依次对焦到前、中、后三个、同深度位置的重构图像。
从空域上容易理解，数字对焦就是光线在不同平面上的投影积分。而结合傅里叶投影切片定理，推导了数字对焦在傅里叶域的解释一一傅里叶切片成像定理：二维图像的傅里叶频播等丁四维光场傅里叶频谱在某个角度下的二维切片采样。
若光场相机所采样的光场角分辨率为N×N，则光场相机的焦深提高至传统相机（在同样的相对孔径和探测器分辨率下）的N倍，而其空问分辨率降低到传统相机的1/N^2。因此，图像分辨率的严重受损是制约单桕机光场成像应用的主要瓶颈。
在这里插入图片描述
图4 光场相机的对焦微透镜阵列是一种相位调制型光学元件，其本身不会对成像系统的光通量造成损失，再加上其制作工艺已相对成熟，因而成为目前应用最为广泛的光场调制器件。微透镜阵列的早期模型是针孔透镜阵列，