无透镜计算成像文章简介

paper1:2005Light Field Capturing with Lensless Cameras

摘要：介绍了一种利用无透镜相机捕捉光场的新方法。通过来回移动摄像机，我们捕捉到一组图像。我们证明了从这些模糊图像重建光场是可能的。该问题的公式化方法类似于计算机层析成像，因此可以使用现有算法重建光场。然后可以使用灯光场渲染3D场景。综合算例表明了该方法的有效性。

模型：

虽然已经有许多不同种类的镜头被发明用于不同的目的，但是在相机系统中使用镜头的一个限制是相机将具有有限的景深（DOF）。当场景有很大的深度变化时，这会给IBR (Image-based rendering)带来问题，因为不是所有的对象都能在一个图像中聚焦。利用这个问题的一种方法是在相机停留在每个拍摄位置时，以不同的焦距拍摄多个图像。已经完成了从这些捕获的图像集中渲染所有聚焦图像的工作[3][4]。然而，在调整每个相机位置的焦距的同时移动相机是乏味和耗时的，更不用说为了渲染，必须精确测量每个图像的焦距。

 

论文中提出了一种新的无透镜相机捕捉场景的方法。去掉了相机中的镜头，因此捕捉到的图像中的每个像素都是从不同方向进入该像素的光线的总和。如图1所示，这样的无透镜传感器被放置在物体的前面。我们前后移动摄像机，捕捉现场的许多图像。我们表明，虽然捕捉到的图像是模糊的，但使用类似于计算机断层扫描（CT）的技术，我们可以通过现有的方法重建单个光线。除了节省复杂透镜的成本外，该方案的主要优点是能够产生无限自由度的图像。这是在没有额外假设光源和照明的性质的情况下实现的。

 

仅仅可实现简单3D物体的成像，分辨率也不够高

 

附加：计算机断层扫描技术  电子计算机断层扫描，它是利用精确准直的X线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描，具有扫描时间快，图像清晰等特点，可用于多种疾病的检查；根据所采用的射线不同可分为：X射线CT（X-CT）以及γ射线CT（γ-CT)等。

paper2:2006 Lensless Imaging with a Controllable Aperture

摘要：本文提出了一种高度灵活的相机。相机由一个图像探测器和一个特殊的光圈组成，但没有镜头。光圈是一组平行的光衰减层，其透过率在空间和时间上都是可控的。通过对这个光圈应用不同的透射率模式，可以有效地调制入射光，并捕捉传统的基于镜头的相机无法捕捉的图像。例如，相机可以在不使用任何移动部件的情况下平移和倾斜其视野。它还可以捕捉场景中不相交的感兴趣区域，而不必捕捉它们之间的区域。此外，摄像机可以用作计算传感器，其中检测器测量衰减层对场景辐射值执行的计算的最终结果。这些和其他成像功能可以用相同的物理摄像机实现，并且这些功能可以通过软件从一个视频帧切换到下一个视频帧。我们已经建立了一个基于这种方法的原型相机使用裸图像探测器和液晶调制器作为光圈。详细讨论了可控光圈无透镜成像的优点和局限性。

 

镜头是有用的，因为它们将场景中的光聚焦在图像平面上，以形成明亮而清晰的图像。镜头严重限制了从场景到图像的几何和辐射映射。

模型：

图1 该相机由两部分组成：探测器和光圈。（a） 在最简单的形式中，光阑是一个光衰减层，其透射率在空间和时间上都是可控的。实现可控衰减孔径的一种实用方法是使用液晶片。（b） 一般来说，光圈是一堆平行的衰减层。这种方法导致了一个灵活的成像系统，可以实现场景点到图像像素的广泛映射。

图2基于透镜的相机和所提出的无透镜相机的比较。（a） 使用镜头，图像探测器上的每个点理想地收集场景中单个点发出的光。（b） 使用无透镜相机，探测器上的每个点都收集从整个场景发出的光，并通过光圈衰减。在捕获最终的2D图像之前，可以对4D光线集进行操作。这允许相机执行新的成像功能。该图突出了传统镜头相机和我们的无镜头相机之间的区别。

理想的镜头相机，如图2（a）所示，将场景聚焦在图像平面上。图像探测器上的每个点都集成了场景中单个点发出的光。因此，光阑只影响图像的总亮度和离焦区域的局部模糊。相反，我们的无透镜成像系统，如图2（b）所示，没有聚焦。图像探测器上的每个点都整合了从整个视野发出的光。在积分之前，与每个图像点相关联的2D光场被衰减光阑调制。因此，孔径决定了成像过程的几何结构和光度。

该相机的特点：

瞬时视野变化：相机只需改变光圈的透射率模式，就可以将其观察方向瞬间改变为任意方向。相比之下，传统相机依赖于摇摄马达，这种马达受到机械约束的限制，会产生运动模糊。

分割视场：相机可以在一帧内捕捉场景中不相交的部分，而不捕捉它们之间的区域。使用摄影机的系统可以选择在每个时间实例中捕捉场景的哪些部分。这样，相机就可以以更高的分辨率捕捉到相距很远的运动物体。相比之下，传统相机被迫将探测器的有限分辨率均匀分布在大视场上。

相机作为一个计算传感器：相机可以调节光线，使捕捉到的图像是光学应用于场景辐射的计算结果。这样，相机就可以在图像形成过程中进行昂贵的计算。相比之下，由于镜头执行的场景到图像的刚性映射，传统相机无法执行此类计算。我们相机的理想设计包括将探测器和衰减层作为一个物理设备来制造。

在我们的原型实现中，我们使用了一个现成的无镜头数码相机作为探测器，一个现成的液晶显示器作为可控光圈。在需要多个衰减层的情况下，我们使用具有恒定透射函数的物理孔径。使用我们的原型，我们演示了我们的成像系统在不同应用中的使用。

 

paper3：2009 Lensless Imaging for Point-of-Care Testing

摘要：我们展示了一个平台，将微流控芯片与无透镜成像相结合，在资源有限的环境下进行CD4+T淋巴细胞计数。为了捕获CD4+T淋巴细胞，将抗CD4抗体固定在微流控芯片上。利用无透镜阴影成像技术，用电荷耦合器件（CCD）传感器检测捕获的细胞。利用细胞自动计数软件，在3s内计数芯片（24mm×4mm×50μm）上捕获的细胞的灰度阴影图像。该装置实现了70.2±6.5%的捕获效率，88.8±5.4%的CD4+T淋巴细胞的捕获特异性，96±1.6%的CCD效率，83.5±2.4%的总体平台性能（n=9个设备）。这一集成平台有可能用于护理点检测（POCT），以快速捕获、成像和计数未处理的全血中的特定细胞类型。

模型：

图1 CCD成像平台示意图：（A）CCD成像平台检测捕获的细胞。当光入射到被捕获的细胞上时，细胞膜发生衍射并透射光。CCD可以在1秒内成像出由衍射产生的CD4+T淋巴细胞的阴影。图像由无透镜CCD成像平台获得。（b） 微流控芯片和CCD成像平台图片。CCD传感器的视野为35 mm x 25 mm。只需将微流控通道放置在传感器上，就可以无需对准整个微流控设备。（c） 显示了用无透镜CCD成像平台拍摄的图像和微流控通道中心的放大视图。放大后的照片显示的是衍射获得的图像。比例尺，100µm。

paper4:2011 Geometrical Super Resolved Lensless Imaging

摘要：在超分辨率领域，研究人员正试图克服成像系统的衍射和几何边界。在这篇论文中，我们提出一个最近发展的方法，旨在克服几何限制，同时使用统一的空间光调制器（SLM）的无透镜配置。

分辨率是成像系统能够分辨的最好的空间特征。光学系统的分辨率受到衍射的限制（Lord Rayleigh，Abbe）[1]，探测器的几何结构[2]及其像素的噪声等效性[2]。与衍射相关的分辨率限制与光学波长与成像透镜的F数（焦距与透镜直径之比）之间的乘积成正比，并且与从物体中的小空间特征衍射而来的光线的角跨距有关由成像透镜采集[3]。几何分辨率受探测器中每个像素的空间密度和面积的限制[2]。像素的空间密度越大，奈奎斯特采样频率就越高。每个像素越小，就越接近使用狄拉克三角函数数组的理想采样。在本文中，我们提出了一种新的方法来克服几何分辨率的限制，使用基于SLM的全无透镜光学结构。

模型：

图1：（a）。上图：仅基于SLM的实验成像装置示意图。第1部分（数字1-2）：使用投射在物体顶部的二进制掩模（整条线）的光束整形。第2部分（编号3-4）：带动态衍射透镜的成像系统（虚线）。下图：一个相位函数的例子，它被编码到SLM显示器上。在右边我们实现了一个镜头功能，在左边我们实现了一个相位函数来产生投影图案。（b） 一。实验装置本身的图像。照明激光器在左侧。

求解方式：

计算方法上较为常规，实验设计较为创新

paper5:2014 Lensless imaging through thin diffusive media

摘要：利用扩散器的复透射函数，可以重建薄散射介质成像的物体。我们演示了在无透镜装置中用数值相位共轭法重建静态和动态物体的图像。数据是通过对被非均匀介质相干照明和遮蔽的物体的单次激发强度捕捉获得的，即在试样上衍射的光被聚碳酸酯扩散器散射，并记录产生的散斑场。作为一个准备步骤，只需在成像前进行一次，就可以用干涉法测量扩散器衍射到相机芯片上的复杂散斑场，从而重建扩散器的传输函数。插入样品后，相机平面上的散斑场发生变化，根据新的光强分布可以重建出样品的复场。在对扩散器场进行初始干涉测量后，该方法对扩散器的后续失准具有鲁棒性。该方法可以推广到放置在一对薄散射板之间的物体成像。由于散斑信息包含在单个图像中，所以可以对单个图像进行散斑处理。

随机薄介质散射光场的信息不会丢失，而是以散射光场的复振幅编码。例如，被散射介质遮蔽的物体可以通过全息反转散射过程来重建。

这里我们展示了一种无透镜单次拍摄技术，用于重建被薄散射介质遮挡的物体。为此，首先在扩散器后面几厘米处的相机平面上，用干涉法测量通过扩散器的相干光束的复场。当散射体后面物体的畸变强度分布被捕获时，先前测量的未受干扰散斑场的相位信息（不插入物体）可以实现散射过程的数值反转。在初始校准之后，这可以在视频速率下完成。我们表明，即使潜在的偏差，如扩散板的横向位移，也可以通过数值重新校准进行跟踪和补偿。此外，嵌入在两个扩散板之间的样品的成像也可以通过改进的重建程序来实现。

模型：

 

重建方法：

散射面内目标场的复振幅：

目标和扩散场在传感器平面上的复振幅为：

传感器平面上的强度分布由下式给出：

通过传感器平面中扩散器的物体复振幅的表达式：

如果忽略“噪声”项，则公式（5）右侧的所有因素都是已知的，即扩散板散斑图在传感器平面A′d和φ′d上的振幅和相位分布分别由初始干涉校准测量确定，i′CCD是单次拍摄强度捕捉通过扩散器的物体。对于重建，公式（5）的右侧通过基于标准FFT的标量衍射传播数值传播到扩散平面[18]：

进一步传播到目标平面，则产生：

从而实现目标成像过程。

这种方式实际上是依据物体的复数模型（即带相位），然后考虑diffuse特性相位的偏移，根据传播路径来形成成像模型。这种方式对于相干光有效.

paper6:2016 3D DiffuserCam Single-Shot Compressive Lensless Imaging

摘要：我们提出了一个三维无透镜，基于扩散的相机，并表明该系统满足压缩传感的要求，能够从单个图像重建稀疏、无遮挡的三维样本。

 

测量体积物体的辐照度分布需要三维成像。由于光学图像传感器不是三维的，为了重建三维图像，通常必须获取多个二维图像（例如，在层析成像中，焦叠加反褶积）。对于动态样本，多炮方法速度太慢，需要单次采集。然而，在经典的信号处理框架中，三维重建中的体素数不能超过二维测量中的像素数。因此，单次三维成像方法通常具有较低的空间分辨率。最近在压缩感知方面的研究[1]通过利用稀疏性来解决一个欠确定的反问题，打破了这一障碍。压缩传感要求测量系统捕捉不相关的、多路复用的测量值。这些技术已应用于相干数字全息[2]和荧光显微镜中的类似想法[3,4]。

在这项工作中，我们提出了一个单镜头三维压缩传感无透镜成像仪。基于掩模的无透镜相机，如[5,6]，自然提供了必要的多路测量。在这里，我们的掩模是一个廉价且光效高的伪随机相位掩模（一个扩散器），放置在2D传感器前面（图1a）。我们在之前的研究中[7]指出，扩散器产生高对比度的结构化强度模式，称为焦散线（图1b）。在这项工作中，我们表明，在无透镜配置中，三维体中的点所产生的焦散斑图具有高度的唯一性和复用性。我们使用一个改进的卷积模型来有效地将我们的测量值与物体联系起来，这不仅使校准变得容易，而且通过优化实现了高效的数值重建。我们通过实验演示了我们的系统，从130万像素的二维测量中重建了4400万个体素。

模型：

图1 （a） 具有远场轴上点源对象的相机示意图。（b） 该点源的焦散斑图（PSF）。（c） -（d）移动点源会使PSF沿相反方向横向移动。（e）-（f）移动点源轴向放大PSF。

方法：

单个深度对传感器测量的贡献由裁剪卷积给出：

它可以表示为矩阵A乘以3D辐照度向量L：

为了恢复三维辐照度，我们解决了以下稀疏约束最小二乘问题：

测量较为准确的PSF是实现该方法的关键。