NLOS的博客

本文介绍了一种单光子级非视距成像方法。该方法的核心创新点在于,以一种巧妙假设为基础,仅利用单光子飞行时间就能估计相应的强度信息构造了一个凸优化框架,创新性地融合了总变分与非局部自相似等先验,从极少光子输入中重建高质量隐藏场景围绕以上两点,作者进行了大量仿真和实验,展示了该方法在低光子通量下明显优于其他算法的卓越重建性能。更为重要的是,作者首次证实了非视距成像问题确实可以在单个光子的极限条件下获得有效解决。

扩散采样器 (Diffusion Sampler): 基于扩散模型的概率生成框架，通过多步迭代从高斯噪声逆向重建出隐藏物体的图像信息。模型引导 (Model-Guided): 将传统优化算法中使用的物理先验知识引入到扩散采样器中，进一步提升重建质量和物理合理性。简单来说，该方法从一个高斯噪声分布出发，通过一系列扩散步骤逐步"去噪"以生成隐藏场景的图像,并在此过程中融入了物理建模的先验知识。下面我们将逐一解析这两大核心创新点。

提出了一种端到端的神经计算成像方法,用于学习如何最优地照亮场景,以最大化NLOS性能。该流程包括新的基于消息传递神经网络的照明估计网络(Illumination Estimation Network, IEN)用于估计聚光灯位置,基于物理的可微渲染器,以及用于NLOS定位/姿态分类的神经网络。利用可微渲染器在流程中,该方法可显著提高对现实场景的适用性,这些场景具有非漫反射表面和自发光对象。使用合成和真实数据证明了其优于若干基线的性能。该方法实现了未知人体主体的高精度定位。

本文提出了一种基于超导纳米线单光子探测器的非视距红外成像方法。该方法成功地在1560nm和1997nm两个波长进行了非视距成像实验。利用小波变换进行降噪,显著提升了图像的信噪比。这种方法拓展了非视距成像的光谱范围,为将来的应用提供了可能。非视距成像可以在直视视线外成像隐藏物体,具有巨大应用前景。目前大多数非视距成像仅在可见光和近红外波段。本文利用超导纳米线单光子探测器的宽波段响应,实现更长波长的非视距成像。

注1:本文系“最新论文速览”系列之一,致力于简洁清晰地介绍、解读最新的顶会/顶刊论文。

被动非视距成像技术只需要利用场景表面反射的间接光线,不需要昂贵的测量设备或复杂的测量过程,就可以恢复隐藏物体。本文提出了一种基于矩阵分解的新颖网络,可以同时恢复隐藏视频和光传输矩阵。网络具有多阶段结构,每一阶段相当于矩阵分解优化算法的一个优化迭代。采用空间变化卷积和光传输矩阵的神经表示,提高了网络的效率。提出的方法可以同时恢复隐藏视频和光传输矩阵。存在实时性差和矩阵分解可能产生变形等问题。未来将探索其他生成模型,提高对复杂运动的拟合能力。

NLOS成像技术可以重建视线以外的物体或场景,在许多领域都有重要应用。在瞬态NLOS成像中,成像时间分辨率受检测器单光子时间分辨率(SPTR)的限制。本文提出了一种时域编码NLOS成像技术(TE-NLOS),可以在低SPTR检测器上实现超分辨率成像。通过利用瞬态图像的时空相关性,可以在已知编码序列的帮助下,从压缩测量中重构高时间分辨率的瞬态图像。实验表明,本方法可以在1.28ns SPTR的检测器上重构出20ps的瞬态图像,时间分辨率提升了64倍。

本文介绍了一种新的非视距（NLOS）目标定位方法，该方法基于多输入多输出（MIMO）超宽带（UWB）雷达。这种方法利用多域特征，包括距离-多普勒（RD）特征，以提高目标定位的准确性。

Metasight是一种新型的非视距（NLoS）雷达感知系统，旨在解决现有NLoS雷达系统对大型环境反射体的依赖问题。传统NLoS雷达需要大型环境反射体，其尺寸与所需的角分辨率和覆盖范围成比例，限制了其在实际场景中的部署。Metasight利用精心设计的被动毫米波超表面反射器和新颖的角度编码方案，显著减小了反射器的尺寸。这些超表面反射器完全被动、成本低廉，可通过3D打印和铜带简单制造。Metasight的核心技术。

本文研究了粗糙中继表面(RRS)散射条件下的毫米波无视线雷达感知系统。提出了考虑微小面模型的随机RRS模型,并推导出MIMO FMCW毫米波雷达信号张量模型。设计了三阶段恢复算法(SGTR),充分利用虚拟目标信息进行目标定位和速度估计。仿真和实验结果表明,该方法可以提高粗糙环境下的目标感知精度。

系统能耗4.4nJ每帧,能效达7.48×104 TOPS/W,分别高出最新GPU 3和1个数量级。注1:本文系“最新论文速览”系列之一,致力于简洁清晰地介绍、解读最新的顶会/顶刊论文.注2: 论文速览十分粗略，仅起到及时介绍的目的。若希望详细了解，强烈建议阅读原文。ACCEL每帧处理时间由重置、响应和积累时间组成,实测积累时可达2.1ns。ACCEL开启了集成光电子计算的新范式,在实际视觉任务中展现巨大应用前景。利用LeNet等效运算量评估,ACCEL仍大幅优于最新数字神经网络芯片。

研究非视距(NLOS)毫米波(MMW)MIMO测距雷达在L型场景下的多目标定位问题建立包含距离、多普勒、出射方向(DoD)和到达方向(DoA)信息的多径信号模型提出一种基于DoD和DoA联合估计的多径识别方法,可有效抑制多径干扰实验验证了该方法在存在多个NLOS目标时可实现高精度定位及低误报率这篇论文研究了非视距(NLOS)毫米波(MMW)MIMO雷达在L型场景下的多目标定位问题。主要贡献有:建立了包含距离、多普勒频移、出射方向(DoD)和到达方向(DoA)信息的多径信号模型。

综上所述,本文提出了一种高效的基于学习的单光子3D成像压缩方法,为构建实用的高分辨率单光子3D相机提供了重要基础。与基线相比,学习到的时空编码张量能提供高达两个数量级的数据压缩,同时保持3D成像质量。注1:本文系“最新论文速览”系列之一,致力于简洁清晰地介绍、解读最新的顶会/顶刊论文。本文提出了一种基于学习的压缩表示法,用于单光子3D成像的直方图张量。与仅利用时间信息的编码相比,提出的方法在低信噪比条件下表现更好。功耗分析表明提出的压缩直方图设计在硬件上是可行的。在实际数据上也展示了提出方法的有效性。

非视距成像(NLOS)是通过脉冲激光和时间分辨检测器来成像隐藏物体的技术。大多数基于物理的NLOS成像方法通过假设三次反射和无自遮挡来简化问题。但是这些假设在具有大的深度变化的物体上会失效,导致无法准确重建高频信息。基于学习的方法可以避免这些假设,但是由于神经网络的频域偏置,它们在没有特定设计的情况下也会在重建细节时受到限制。本文提出了一种新方法,通过在频域中引入可学习的逆内核和注意力机制来解决这些问题。

本文针对NLOS中的弱目标回波提取问题,提出了双探测器方法和流水线方法,前者利用空间时间相关性提高静止目标探测能力,后者利用时间相关性提取运动目标轨迹。这两种方法都不依赖直接累积而是利用相关性特征进行滤波,可有效突出弱目标回波,减少误报概率,对NLOS成像和定位有重要意义。将两种方法结合,实现了对弱目标的定位和跟踪,证明了基于时间相关性特征滤波的有效性。本文提出了两种在非视距成像(NLOS)中提取弱目标回波的新方法。双探测器方法能增强对静止弱目标的探测。流水线方法能跟踪运动弱目标的轨迹。

NLOS成像用于从间接光线推断不可见场景。NeTF用于在NLOS场景中表示场景作为神经辐射场。本文提出NLOS-NeuS,将NeTF扩展为带有符号距离函数(SDF)的神经隐式表面,以在NLOS场景中重建三维表面。

本文提出了HADAR框架,实现了利用热辐射进行无源探测与测距。HADAR克服了传统热成像的局限,提供清晰视觉效果。测距与定位性能也得到大幅提升。HADAR技术可推动自动驾驶、医疗监测等领域发展,对工业4.0具有重要意义。总体来说,本文通过TeX分解与TeX视觉,成功利用热辐射信号实现被动探测与测距,是该领域的重要进展。HADAR数据库与原型机验证了方法的有效性。信息理论下限也为进一步研究提供理论指导。本文为基于热信号的智能感知打开新的视野。

本文提出了跨模态知识蒸馏的声学非视距成像方法。实验表明,这种方法可以充分利用两个模态的优势,使得模型对噪声更加鲁棒,同时能够很好地推广到未见过的物体。这为声学非视距成像提供了一个有前景的思路。通过图像网络指导音频网络的训练,音频网络获得了提取全局信息、进行高质量重建的能力。这种跨模态的框架设计也可推广到其他领域,是一种有效的知识迁移范式。

总的来说，非视域成像技术在近年来已取得了显著的进展，尤其是在基于飞行时间、相干信息和强度信息的非视域成像模式方面。尽管如此，我们仍然充满期待，因为随着技术的不断发展和进步，非视域成像技术的应用前景将更加广阔。尽管非视域成像技术在过去的几年中取得了显著的进步，但仍然面临许多挑战，包括硬件参数的限制、重建算法的复杂性、重建时间的长短以及图像分辨率的高低等。文章中介绍了三种非视域成像模式，包括基于飞行时间的非视域成像、基于相干信息的非视域成像（包括基于散斑图案和空间相干两种方法）、基于强度信息的非视域成像。

随着该领域技术的进步,分辨率、填充因子和帧率都可大幅提高,测量时间可降低数个数量级,有望实现更精细的非视距成像。总之,本文突破当前非视距成像只能对点目标进行定位或描绘的局限,实现了对复杂运动场景中多个目标及静态背景的捕捉。这样,前景物体产生的额外光子数量以及被遮蔽背景的光子数量减少,为重建物体形状和被遮蔽背景提供了信息。相比仅定位或描绘靶点,可检测运动目标的数量、确定其形状、位置、反射率等信息,并建立隐蔽区域的定位全图。本文提出的无需扫描的主动转角相机快照成像和背景建图方法,具有广阔的应用前景。

注1:本文系“计算成像最新论文速览”系列之一,致力于简洁清晰地介绍、解读非视距成像领域最新的顶会/顶刊论文(包括但不限于 Nature/Science及其子刊;Light‐Science & Applications, Optica 等)。本次介绍的论文是:<Applied Physics Letters, 2023 | Non-line-of-sight imaging with absorption backprojection。背景介绍。

在计算机视觉和机器人领域，非视距(NLOS)成像是一个非常重要的研究方向。NLOS成像的目标是通过障碍物（例如墙壁、门、窗户等）的反射，重建被遮挡的目标的形状，这在机器人视觉、自动驾驶、救援行动和遥感等应用中非常有价值。然而，现有的NLOS成像算法通常需要在较大区域的中继表面上进行密集测量，这严重限制了它们在实际应用中的可用性。为了解决这个问题，Liu等人在2023年的。

非视距成像通过分析物体对光线的散射,来恢复被遮挡区域的信息。它在国防、搜救和自动驾驶等领域有广泛应用。遮挡成像法:利用场景中的天然遮挡物,在散射面上形成信息丰富的阴影,从而恢复隐藏场景。光场法:捕获散射光线的角度和位置信息,来定位隐藏场景中的光源。然而,真实场景中的杂散光线(如图1中的Clutter region)会对成像造成严重干扰。目前的去杂光技术主要基于以下假设:背景减除法:需要提前测量或模拟杂散光线。帧差分法:假设杂散光线静止,而目标运动。慢变假设:假设杂散光线在散射面上变化缓慢。