【探讨】联合傅里叶卷积与通道注意力的光场角度重建

欢迎关注：GZH《光场视觉》

摘要：光场相机能够同时捕获光线的强度和方向信息，但由于成像传感器尺寸的限制，无法同时获得高空间和角度分辨率的光场图像。提出了一种联合傅里叶卷积和通道注意力的光场角度重建方法，通过使用稀疏光场图像4个边角位置的参考视图，可以间接地重建出密集光场图像。考虑到光场数据的内在4D结构，采用通道级密集快速傅里叶残差卷积块，在空域和频域对光场图像的空间和角度相关性进行建模，然后采用基于全局响应归一化的通道注意块，以实现通道间的自适应融合。此外，还提出了一种改进的视点加权间接合成方法，通过为每个参考视图分配一个置信图，为参考视图之间建立联系以合成更真实的新视图。实验结果表明，相比于现有先进的光场角度重建算法IRVAE，所提方法的重建光场图像质量在自然光场数据集30Scenes，Occlusion和Reflective上的平均PSNR分别提高了0.08，0.13和0.13dB。所提方法在保证光场角度一致性的前提下取得了清晰的重建结果。

关键词：光场角度重建；傅里叶卷积；全局响应归一化；视点加权的间接合成

1引言

区别于传统成像只能在单个方向上捕获三维空间的光线信息，光场成像技术能够同时记录场景中光线的强度和方向信息。基于光场成像的光学仪器（即光场相机）也被开发以获取更丰富的场景信息。许多光场应用也随之产生，如深度感知［1］、反射率估计［2］、视图渲染［3］、前景去遮挡［4］等技术。通过在主镜头和成像传感器之间插入微透镜阵列等光学组件，光场相机可以通过单次曝光同时采集空间信息和角度信息。但受限于传感器的尺寸，密集的空间采样会导致稀疏的角度采样，这严重阻碍了光场成像的实际应用。

为了解决这个问题，基于卷积神经网络（ConvolutionalNeuralNetwork，CNN）的光场角度超分辨率算法被提出。但由于光场图像的四维（4-Dimensions，4D）结构限制，其空间信息与角度信息高度耦合，给卷积神经网络的光场应用带来了挑战。现有的基于卷积神经网络的方法通过直接生成或者间接生成两种方式来获得密集的光场图像。

直接生成法先从稀疏光场图像中建模空间和角度信息的相关性，再沿角度维上采样重建光场。Yoon等［5］首次用CNNs对光场图像建模，通过邻域视图建模的方法从相邻的两个子孔径图（Sub-ApertureImage，SAI）中生成中间视图。Yeung等［6］提出空间角度可分离卷积来代替4D卷积提取光场4D结构信息。Wu等［7］将极平面图像（EpipolarPlaneImage，EPI）视为光场图像的基本单元，提出基于EPI的重建网络，但因EPI本身分辨率的问题，该网络在低角度分辨率作为输入的情况表现欠佳。Wang等［8］提出一个端到端的伪4DCNN，将二维（2-Dimensions，2D）EPIs堆叠成三维（3-Dimensions，3D）形式作为输入进行角度重建。Wang等［9］将光场图像视为宏像素图像阵列，并设计了一种解耦机制来充分利用光场的角度信息。间接生成法大多通过生成一些中间输出，通过中间输出与输入的操作来重建光场图像。Kalantari等［10］提出一个端到端的两阶段网络，将角度重建看作视差估计和色彩估计两部分，在生成中间输出视差图后，根据输入与视差图绘制出粗糙结果，后续进行色彩补偿。Wu等［11］通过预移位的EPIs隐式地估计场景深度，并提出一种克服EPI不匹配的CNN重建网络，可实现更大视差范围下的光场重建。除此之外，Jin等［12］提出一个能从非结构化稀疏光场输入重建出密集分布的两阶段网络。上述直接和间接方法都只能生成密集分布的光场图像，无法从稀疏分布的光场图像中重建出任意角度位置的新视图。近期，Han［13］等提出一个基于变分自编码器的间接生成网络，它能够从稀疏分布的光场输入图像中为每个参考视图生成一组非共享卷积核，通过与参考视图的卷积可以灵活地得到任意角度位置的新视图。但它与其他角度超分方法存在一样的问题，即特征提取时受限于感受野，在更大尺寸光场图像上对空间和角度信息的相关性建模不充分。

为了解决上述问题，本文提出了一个简单有效的方法来调整光场空角相关性建模时的感受野。鉴于频域上的一点能影响空域上的全局信息、频域的全局信息与空间上局部信息存在相关性，基于快速傅里叶卷积［14］提出了一个密集快速傅里叶卷积残差（DenceFastFourierConvolu⁃tionsResidua