光场成像简介

创世纪之初，上帝说，要有光，于是，就有了光

我们所处的世界，其实就是一个充满光的世界，光线是这个世界最普通，最常见，最神奇的东西，无处不在，却又摸不着，物理学告诉我们，光是一种电磁波，而电磁波有电磁场，所以光，其实也有光场。

光场（Light Field）是空间中光线集合的完备表示，采集并显示光场就能在视觉上重现真实世界。全光函数（Plenoptic Function）包含7个维度，是表示光场的数学模型。全光函数可以表示为：

$$L(x,y,z,\varphi ,\theta ,\lambda ,t)$$

其中，$x,y,z$ 表示空间位置，$\varphi ,\theta$ 表示方向，$\lambda$ 表示波长，$t$ 表示时间，我们最常见的摄影或者显示，主要利用了光线的位置和波长 $L(x,y,z,\lambda )$，很少会用到光线的方向信息，要想完全捕获环境中所有光线的信息，这个数据量是非常庞杂的，斯坦福大学的 M.levory和P.Hanraham 将全光函数进行了简化，变成了的一种四维信号：$L(u,v,s,t)$，L 表示光线的强度，(u, v) 和 (s, t) 分别为光线与两个平面的交点坐标。在四维坐标空间中，一条光线对应光场的一个采样点，如下图所示：

• 插入图像

其中 $(u,v)$ 表示透镜光瞳所在的坐标，$(s,t)$ 表示传感器所在的平面坐标，成像的时候，光线先经过透镜的光瞳，然后到达传感器上，传统的成像可以表示成：

$$I(s,t)=\iint L(u,v,s,t)dudv$$

上面的式子表示，真实世界里的一个物点，发出的光线，经过光瞳之后汇聚到传感器上对应的一个像点上。这样的成像，只能记录光线的强度，无法获得光线的方向。

而光场相机与传统成像不同，光场成像需要利用二维的探测器像面同时记录光场的四维信息，即二维位置分布和二维传输方向。为了实现四维信息向二维平面的转换，必须对四维光场进行重采样和分布。光场相机有几种不同的实现方式，比较常见的有 相机阵列，微透镜阵列以及可编程光圈，相机阵列是最早的一种实现方式，后来斯坦福大学的博士吴义仁（Ren Ng）毕业后创立了 Lytro 相机公司，推出了世界上第一款消费级光场相机，采用的是在传感器前面，安置了一排微透镜阵列，如下图所示：

• 插入图像

镜头、微透镜阵列、传感器三者之间位置关系为：微透镜阵列放置在主镜头的焦平面附近，而传感器放置在微透镜的焦平面附近。

不同方向的光线经过主镜头进入相机内部，汇聚到微透镜阵列上不同的微透镜上，经过微透镜后又发散成若干条光线分别到达传感器的感光元件上。这里每一个微透镜视为一个宏像素，每一个(宏像素)微透镜后面对应$k\times k$个元像素(感光单元)。这 $k\times k$ 个元像素的亮度总和为最终宏像素的亮度，即宏像素的亮度为其对应所有元像素的积分。而每一个元像素对应通过前面微透镜的一条光线，在Lytro illum中，$k\times k$个元像素就可以记录 $k\times k$ 条通过前面微透镜的不同方向的光线，所以Lytro illum一共可以记录的光线条数为 $ m \times n \times k \times k $, $m\times n$ 为微透镜个数。

对比传统成像，我们可以看到，传统成像把一个物点发出的所有光线看成一束，都汇聚到一个像点上，而光场相机，把一个物点的光线分成了多束，分别汇聚到不同的像点上，很显然 $k\times k$ 越大，意味着光线被分割的越细，意味着每个像点能接收到的光线越少，$k\times k$ 一般也称为角分辨率，而 $m\times n$一般称为图像分辨率，$k\times k$ 也称为视点数，类似在主透镜上开了 $k\times k$ 个子孔径，每个子孔径都能成一个 $m\times n$ 大小的图像，如下图所示，主透镜上，有三个虚拟的子孔径，每个子孔径都可以通过微透镜阵列，在传感器 sensor 上成不同的子图像

• 插入图像

光场相机的角分辨率和图像分辨率是一个 trade-off 的关系，因为 sensor 总的像素数一定，如果 $k\times k$ 增加了，意味着 $m\times n$ 就会减少，反之亦然。

光场图像的表示有很多不同的形式，因为完整的光场图像是一个思维的信息，如果算上颜色通道，就是一个五维的信息，这里不考虑颜色通道，光场数据可以表示成：$L(u,v,s,t)$

• 如果固定 $(u,v)$，那么我们可以获得某一个视角下的子图像
• 如果固定 $(s,t)$，那么我们可以获得某一个微透镜后面的一个宏像素
• 如果固定 $(u,s)$，那么我们可以获得一个极线图，类似从图像阵列的某一列子图像中，抽取固定的一列拼接而成
• 如果固定 $(v,t)$，那么我们同样可以获得一个极线图，从图像阵列的某一行子图像中，抽取固定的一行拼接而成

如下图所示：

上图左边对应一个子图像，右边对应宏像素

上图分别对应图像阵列，极线图

• 参考
  https://www.vincentqin.tech/posts/light-field-depth-estimation/
  https://www.cnblogs.com/riddick/p/6731130.html
  http://www.plenoptic.info/pages/refocusing.html