CV每日论文--2024.7.16

1、Radiance Fields from Photons

中文标题：光子的辐射场

简介：神经辐射场(NeRFs)已成为从多个视角捕获的图像进行高质量视图合成的事实标准方法。然而,在野外环境下捕获图像时,仍存在许多挑战,例如低光、高动态范围或快速运动导致的模糊重建和明显的伪影。

为解决这些问题,我们在这项工作中介绍了量子辐射场,这是一种新型的神经辐射场。量子辐射场使用单光子相机(SPCs)以单个光子的粒度进行训练。我们开发了理论和实际的计算技术,用于构建辐射场和从SPCs捕获的非传统、随机和高速二进制帧序列估计密集的相机姿态。

通过模拟和SPC硬件原型,我们演示了量子辐射场在高速运动、低光和极端动态范围设置下的高保真重建。与传统NeRFs相比,量子辐射场能够更好地处理这些挑战性环境下的图像捕获和重建。

这项工作为扩展NeRFs的应用范围提供了新的方向,有望在许多需要在恶劣条件下进行高质量视觉重建的场景中发挥重要作用。

2、FANet: Feature Amplification Network for Semantic Segmentation in Cluttered Background

中文标题：FANet：杂乱背景下语义分割的特征放大网络

简介：现有的深度学习方法在复杂场景中(包括杂乱的背景和半透明物体等)存在一个关键问题,即忽略了语义提示的重要性。为了应对这些挑战,我们提出了一种特征增强网络(FANet)作为骨干网络,利用新颖的特征增强模块在多个阶段融合语义信息。

我们提出了一种自适应特征增强(AFE)块,同时利用空间上下文模块(SCM)和特征细化模块(FRM)。SCM旨在利用更大的卷积核以增加感受野,以处理场景中的尺度变化。我们的新颖FRM则负责生成语义提示,可以捕捉更好的低频和高频区域,从而提高分割任务的效果。

我们在具有挑战性的ZeroWaste-f数据集(包含背景杂乱和半透明物体)上进行了实验。结果表明,与现有方法相比,我们的FANet方法取得了最先进的分割性能。

该工作通过创新性地融合语义提示,有效地解决了复杂场景下语义分割的关键问题,为该领域的进一步发展提供了新的方向。

3、ConRebSeg: A Segmentation Dataset for Reinforced Concrete Construction

中文 标题：ConRebSeg：钢筋混凝土施工的分割数据集

简介：建筑业一直以来在采用数字技术方面进展缓慢。然而,由于面临着诸如劳动力短缺和生产力下降等挑战,数字技术变得越来越必要。自主机器人系统可以帮助缓解这些问题,但这些系统的软件开发过程很依赖于数据。

在建筑领域,由于缺乏公开可用的资源,这些必要的数据通常很难获得。为了解决这个问题,我们提供了一个公开可用的数据集,包含14,805个带有强化混凝土建筑分割标签的RGB图像。我们对这个数据集进行了详细分析,并讨论了如何处理标注不一致性。

此外,我们为YOLOv8L-seg、DeepLabV3和U-Net三种分割模型建立了基线,并研究了数据可用性和标签不一致性对这些模型性能的影响。我们发现,尽管这些模型在预测方面非常精确,但需要更多数据来增加被召回实例的数量。有趣的是,标签不一致性对模型性能的影响并不大。

因此,我们主张利用众包的方式来构建建筑领域的数据集,这有助于促进自主机器人系统在该领域的发展。我们提供的数据集和基线模型为该领域的进一步研究提供了有价值的资源。