Monocular metasurface camera for passivesingle-shot 4D imaging

课题组：清华大学杨原牧、曹良才

期刊：nature communications

一、研究背景

       传统相机对于获取深度、偏振等多维的光场信息是一个巨大挑战。如果解决这个问题，就会需要其它的光学元件、时域复用技术(我理解为分时技术)和主动激光照明。本文实验证明了配有单层超构透镜的单目相机可以在正常环境光照明的情况下捕获4维图像，包括2维的全聚焦强度、深度和偏振信息。超构透镜是被依赖于目标物体深度且具有共轭对的偏振解耦旋转单螺旋点扩散函数优化。在此基础上结合简单的物理可解释图像检索算法，该照相机可以在室内和室外环境中的静态和动态场景的扩展景深上同时执行高精度深度感测和高保真偏振成像。

二、工作原理

       1、广义多维图像模型：

         其中，(x,y,z)和(x',y'）代表物体空间和成像平面的坐标位置，f 表示包含多维光场信息的目标物体(成像系统输入)，p表示经过目标物体反射光的偏振态， 表示产生的噪声项。PSF是描述成像系统对点光源的单脉冲响应的点扩散函数，它取决于z和p并且通过菲涅尔信息量化。

       2、单次照明4D成像框架

   （1）设计优化单层超表面产生一对共轭单螺旋PSF，可以在光电传感器上形成目标物体的正交线偏振且横向偏移的孪生像。

     (2)   场景的深度被编码在孪生图像的平移向量的局部方向上

     (3)   计算检索场景的全聚焦2D光强度、深度和偏振对比度。通过基于对象对的图像分割和模板匹配template matching的直接的、物理上可解释的算法从原始图像对中检索。

     3、超表面设计(工作波长：800nm)

     (1) 

Spiral phase profiles

          是归一化径向坐标，φu 是方位角，[L, ε] 可调节设计参数。对于参数[L，ε]，L可以被调整以控制旋转速度，而ε可以被调整以平衡在PSF的旋转期间的主瓣限制和形状不变性之间进行折中。文章中，L=8, ε=0.8

          设计方法：菲涅尔zone 设计；迭代傅里叶变换算法优化

          优势：相比于Gauss-Laguerre mode方法设计的双螺旋PSF，该方法可以生成紧凑的旋转PSF,并且在扩展的景深内保持PSF的形状几乎不变。                (2)

Polarization splitting phase

           焦距：f=20mm； 离轴角： =8°

           功能： 空间解耦共轭单螺旋PSF

      (3)

Full phase profile of the metasurface

          优化：

          基于菲涅耳积分计算PSF的复振幅为

         r 是归一化的径向坐标，是相对于几何图像点的方位角(当不添加菲涅耳区相位项时，其指的是PSF的中心)。r0 聚焦衍射光斑的半径。 散焦参数，R 入射光瞳半径，zobj 实际物体深度，zf 聚焦物平面的深度。

        PSF的复振幅和强度为

        迭代傅里叶变换算法优化，其中文章设计N=9，depths为9cm~100cm且以此对应z1~z9

           初始相位和优化后相位对比:

      4、成像实验

     (1) 组合成像系统：超表面+CMOS光电探测器、带通滤波器(限制光谱带宽)、光圈(限制视场角)

     (2) 超表面相机通过利用偏振解耦共轭单螺旋PSF在光电探测器上呈现两个空间分离的图像

     (3) 室内实验：

      (4) 室外实验：

        5、4D图像检索算法框架

      (1) 将获得的一对图片分割成相同大小，并进行标记。首先通过 Canny edge detector去编码图像对。随后，连接区域检测(connected area detection)应用于分割具有闭合边缘的对象，并且去除太小的目标以避免噪声和冗余边缘。自适应阈值的图像二值化方法也应用于编码图像对中，每一个标记的区域都由二值化图像组成，并且区域重叠率不超过0.8的会被删除。

     (2) 检索目标物体的深度

       首先假设所有目标物体深度统一，随后对每个分割对象执行模板匹配，以检索平移向量的值。在模板匹配过程中，从一个图像中提取的模板在要匹配的图像中滑动，以在可能的translation区域内搜索最佳匹配SAD。

        z(i) 和 (i) 表示第 i 个分割物体的深度和平移向量的方位角。zf 和 f 聚焦物平面的深度和对于平移向量的方位角。V 由初始化单螺旋函数确定。 

        提高深度评估精度：

        每个初始检索的平移向量有像素数 (u,v) 量化， u v 表示沿着光感知平面的x y方向的离散积分值。为了考虑由于离散值导致的精度限制，本文考虑了四领域最佳匹配向量 SAD。重定义平移向量为 (u+u , v+ v)，Refine的平移向量会以更低的SAD值向领域转移。u 和 v 均小于一般像素大小。

     (3) 检索x、y偏振的二维聚焦强度以及偏振对比度 ( Ix/Iy )

        分割物体的轮廓用于从编码图像中选取目标物体的区域，并且根据平移向量可以将每个目标平移回几何图形的位置。

     6、设计全斯托克斯偏振和深度成像

7、 补充

(1) 单目相机：    单目、双目及深度相机比较_单目深度相机-CSDN博客

                            万字长文概述单目3D目标检测算法-CSDN博客 

(2) 点扩散函数：点扩散函数point spread function (PSF)_psf函数-CSDN博客

                           点扩散函数 PSF（point spread function）-CSDN博客

(3) 景深：光学成像原理之景深(Depth of Field)-CSDN博客

(4) Canny 边缘检测：Canny边缘检测算法(python 实现）_python canny-CSDN博客