每日学术速递8.5-3

1.BoostMVSNeRFs: Boosting MVS-based NeRFs to Generalizable View Synthesis in Large-scale Scenes

标题： BoostMVSNeRFs：将基于 MVS 的 NeRFs 提升到大规模场景中的可泛化视图合成 

作者：Chih-Hai Su, Chih-Yao Hu, Shr-Ruei Tsai, Jie-Ying Lee, Chin-Yang Lin, Yu-Lun Liu

文章链接：https://arxiv.org/abs/2407.15848

项目代码：https://su-terry.github.io/BoostMVSNeRFs/

摘要：

        虽然神经辐射场 (NeRF) 已展现出卓越的品质，但其训练持续时间过长仍然是一个限制。可泛化且基于 MVS 的 NeRF 虽然能够缩短训练时间，但通常会在质量上进行权衡。本文提出了一种称为 BoostMVSNeRFs 的新颖方法，用于提高大规模场景中基于 MVS 的 NeRF 的渲染质量。我们首先确定基于 MVS 的 NeRF 方法的局限性，例如由于输入视图有限而导致视口覆盖范围受限和伪影。然后，我们通过提出一种在体渲染期间选择和组合多个成本体的新方法来解决这些限制。我们的方法不需要训练，并且可以以前馈方式适应任何基于 MVS 的 NeRF 方法，以提高渲染质量。此外，我们的方法也是端到端可训练的，允许对特定场景进行微调。我们通过大规模数据集上的实验证明了我们方法的有效性，显示了大规模场景和无界户外场景中渲染质量的显着改进。我们在此 https URL 发布了 BoostMVSNeRFs 的源代码。

这篇论文试图解决什么问题？

这篇论文的目标是生成电影和电视剧的音频描述（Audio Descriptions，简称ADs），而且这种方法不需要训练，即所谓的“zero-shot”方法。音频描述是一种为视觉障碍者提供视频视觉内容描述的技术，它涵盖了从音频音轨中无法推断出的故事方面，特别是场景中的人物以及他们在做什么。这篇论文的主要贡献包括：无需训练的视觉-语言模型（VLM）：展示了通过视觉提示直接提供角色信息，VLM可以成功地命名并引用角色，而无需任何微调。两阶段生成AD的过程：开发了一个两阶段的过程来生成AD，第一阶段要求VLM全面描述视频，第二阶段利用大型语言模型（LLM）将密集的文本信息总结成一句简洁的AD。新的电视音频描述数据集（TV-AD）：提出了一个新的数据集，用于电视音频描述，并研究了电视AD与电影AD的不同特性。AutoAD-Zero模型：提出的AutoAD-Zero模型在多个电影/电视AD数据集上进行了评估，显著优于现有的无需训练的AD生成方法，并且在某些指标上达到了最先进的性能。总结来说，这篇论文试图解决的问题是如何在没有训练数据的情况下，利用现有的视觉-语言模型和大型语言模型，自动生成准确、简洁且有用的音频描述。这对于视觉障碍者来说是一种重要的辅助技术，可以帮助他们更好地理解和享受视频内容。

这篇论文试图解决什么问题？

这篇论文提出了一个名为BoostMVSNeRFs的新方法，旨在解决MVS（Multi-View Stereo）基础的NeRF（Neural Radiance Fields）在大规模场景中进行新视角合成时的渲染质量问题。具体来说，论文主要关注以下几个问题：

1. 有限的视口覆盖：MVS基础的NeRF方法通常受限于固定数量的输入视图，导致从新视角观察时，视口覆盖范围有限。

2. 输入视图限制导致的伪影：由于输入视图数量有限，这可能导致在进行成本体积构建时出现伪影，尤其是在图像边界处的填充伪影以及在遮挡区域错误重建的几何结构。

3. 场景适应性：现有的MVS基础NeRF方法在处理大规模和无界场景时，由于视图覆盖的限制，往往难以生成高质量的渲染结果。

为了解决这些问题，论文提出了一种新的方法，通过选择和组合多个成本体积（cost volumes）在体积渲染过程中，以提高渲染质量，扩大新视角视口的覆盖范围，并减少伪影。此外，该方法不需要训练，可以与现有的MVS基础NeRF方法兼容，并支持端到端的微调以适应特定场景，进一步提高渲染质量。

论文如何解决这个问题？

论文提出了一个名为BoostMVSNeRFs的方法，通过以下几个关键步骤来解决MVS基础NeRF在大规模场景中的渲染质量问题：

1. 3D可见性评分：首先，论文引入了3D可见性评分，这是针对每个采样的3D点的评分，用来量化从不同成本体积观察到的可见性水平。

2. 2D可见性掩码：接着，通过体积渲染3D可见性评分到新视角，生成2D可见性掩码。这个掩码突出了每个输入视图对成本体积的贡献，并指导渲染过程。

3. 多成本体积组合渲染：与传统的仅使用单个成本体积的渲染方法不同，BoostMVSNeRFs在体积渲染过程中考虑了多个成本体积，通过结合3D可见性评分来混合不同成本体积的信息。

4. 支持成本体积集选择：论文提出了一个贪心算法来选择成本体积，以近似解决最大覆盖问题，从而在多项式时间内完成视图选择。

5. 端到端微调：BoostMVSNeRFs支持端到端训练，可以针对特定场景进行微调，以进一步提高渲染质量。

6. 模型无关性：该方法与现有的MVS基础NeRF方法兼容，可以作为一个即插即用的模块来提升渲染质量。

7. 实验验证：论文在大规模数据集上进行了实验，证明了BoostMVSNeRFs方法在提高渲染质量方面的有效性，特别是在自由摄像机轨迹和无界户外场景中。

通过这些步骤，BoostMVSNeRFs能够有效地扩展新视角视口的覆盖范围，减少伪影，并提高大规模场景中新视角合成的质量。

论文做了哪些实验？

论文中进行了以下实验来验证BoostMVSNeRFs方法的有效性：

1. 数据集评估：实验使用了两个数据集进行评估，分别是Free数据集和ScanNet数据集。Free数据集包含具有狭窄、长摄像头轨迹和聚焦前景对象的七个具有挑战性的场景。ScanNet数据集包含八个大规模室内场景。

2. 定量比较：使用峰值信噪比（PSNR）、结构相似性（SSIM）和感知损失（LPIPS）等指标，对BoostMVSNeRFs与其他最先进的NeRF方法进行了定量比较。

3. 与现有方法的比较：将BoostMVSNeRFs与包括F2-NeRF、Zip-NeRF、MVSNeRF、ENeRF和SurfelNeRF在内的多种现有方法进行了比较，以评估其在不同场景下的性能。

4. 消融研究：进行了消融研究来验证所提出的成本体积选择方案的有效性，包括比较不同的成本体积选择策略，以及单成本体积与多成本体积渲染的比较。

5. 稀疏输入视图的鲁棒性：研究了BoostMVSNeRFs在处理稀疏输入视图时的鲁棒性，通过逐渐减少训练视图的数量来评估渲染质量的变化。

6. 端到端微调：展示了通过端到端微调进一步提升特定场景渲染质量的能力。

7. 可视化结果：提供了大量可视化结果，包括定性比较和额外的视觉比较，以展示BoostMVSNeRFs在不同场景和条件下的渲染效果。

8. 性能评估：评估了BoostMVSNeRFs在渲染和微调过程中的性能，包括运行时间和图像质量。

这些实验结果表明，BoostMVSNeRFs在大规模场景和无界场景中，尤其是在自由摄像机轨迹的场景中，能够有效地提高新视角合成的质量，并且具有较好的鲁棒性和实用性。

论文的主要内容：

 这篇论文介绍了一种名为BoostMVSNeRFs的新方法，旨在提高基于多视图立体（MVS）的神经辐射场（NeRF）在大规模场景中的新视角合成质量。以下是论文的主要内容总结：

1. 问题识别：论文首先指出了现有MVS基础NeRF方法的局限性，包括有限的视口覆盖和由于输入视图数量有限导致的画面伪影。

2. 方法提出：为了解决这些问题，论文提出了一种新的方法，通过选择和组合多个成本体积来改进体积渲染过程。

3. 3D可见性评分：引入了3D可见性评分，为每个采样的3D点提供来自不同成本体积的观察水平。

4. 2D可见性掩码：将3D可见性评分通过体积渲染转换为2D可见性掩码，用于指导成本体积的选择和渲染过程。

5. 多成本体积组合渲染：提出了一种结合多个成本体积的渲染方法，以扩大新视角视口的覆盖范围并减少伪影。

6. 贪心算法：开发了一个贪心算法来选择成本体积，以最大化新视角的可见性覆盖。

7. 端到端微调：方法支持端到端微调，可以针对特定场景进一步优化渲染质量。

8. 实验验证：在大规模数据集上进行了实验，展示了BoostMVSNeRFs在提高渲染质量方面的有效性，尤其是在自由摄像机轨迹和无界户外场景中。

9. 代码开源：论文提供了BoostMVSNeRFs的源代码，以便研究社区进一步研究和应用。

10. 未来工作：论文讨论了未来可能的研究方向，包括减少对MVS的依赖、优化内存使用、提高渲染效率等。

总的来说，BoostMVSNeRFs通过创新的成本体积选择和组合策略，有效地提升了MVS基础NeRF在大规模场景中的渲染性能和质量。

2.AutoAD-Zero: A Training-Free Framework for Zero-Shot Audio Description

标题： AutoAD-Zero：零样本音频描述的免培训框架 

作者：Junyu Xie, Tengda Han, Max Bain, Arsha Nagrani, Gül Varol, Weidi Xie, Andrew Zisserman

文章链接：https://arxiv.org/abs/2407.15850

项目代码：https://www.robots.ox.ac.uk/~vgg/research/autoad-zero/

摘要：

        我们的目标是以免培训的方式为电影和电视剧生成音频描述 (AD)。我们利用现成的视觉语言模型 (VLM) 和大型语言模型 (LLMs) 的强大功能，并为此任务开发视觉和文本提示策略。我们的贡献有三方面：（i）我们证明，如果通过视觉指示直接提示字符信息，则 VLM 可以成功命名和引用字符，而不需要任何微调；(ii) 开发了一个两阶段过程来生成 AD，第一阶段要求 VLM 全面描述视频，然后第二阶段利用 LLM 将密集的文本信息总结为一个简洁的 AD句子; (iii) 制定了新的电视音频描述数据集。我们的方法，名为 AutoAD-Zero，在电影和电视剧的广告生成中表现出了出色的性能（甚至可以与一些在真实广告上进行微调的模型相媲美），取得了最先进的 CRITIC 分数。

论文如何解决这个问题？

论文提出了一个名为AutoAD-Zero的框架，通过以下关键步骤解决零样本音频描述生成问题：

1. 视觉-语言模型（VLM）的直接提示：

   • 利用预训练的VLM，通过视觉指示（如在视频帧中用彩色圆圈标记角色）直接提示模型识别和引用角色，无需微调。

2. 两阶段生成过程：

   • 第一阶段：使用VLM生成详尽的视频描述，包括角色、动作、互动和表情等。

   • 第二阶段：利用大型语言模型（LLM）将第一阶段的详细描述总结成一句简洁的音频描述。

3. 角色识别：

   • 通过面部检测和匹配技术，将视频中的面孔与角色库中的肖像图像进行匹配，从而识别视频中的角色。

4. 视觉提示：

   • 在视频帧中使用彩色圆圈标记角色，并将角色名称和颜色代码作为文本提示提供给VLM，以增强模型对角色的识别和描述。

5. 新数据集（TV-AD）的创建：

   • 为了更好地理解和生成电视系列的音频描述，作者创建了一个新的数据集，包含多部电视剧的音频描述。

6. 训练自由的适应性：

   • 利用预训练模型的优势，AutoAD-Zero可以轻松地适应新的VLM和LLM，无需额外的训练。

7. 评估和优化：

   • 使用多个数据集和评估指标（如CIDEr、CRITIC和LLM-AD-Eval）对模型进行评估，并与现有的音频描述生成方法进行比较。

8. 扩展性和灵活性：

   • AutoAD-Zero的设计允许它在未来轻松地集成更先进的模型，并且可以根据特定需求调整第二阶段的LLM。

通过这些方法，AutoAD-Zero能够在无需训练的情况下，生成具有竞争力的音频描述，并且在某些评价指标上达到了最先进的性能。

论文做了哪些实验？

论文中进行了多项实验来评估AutoAD-Zero模型的性能，实验主要分为以下几个方面：

1. 角色识别性能评估：

   • 使用MovieNet数据集的子集来评估角色识别模块的性能，与之前的工作AutoAD-II进行比较。

2. 两阶段框架的消融研究：

   • 对视频描述的因素进行了消融实验，包括角色动作、互动和面部表情等，以确定这些因素对最终音频描述结果的影响。

3. 不同VLM和LLM模型的实验：

   • 研究了所提出的框架在不同的视觉-语言模型（VLM）和大型语言模型（LLM）上的泛化能力。

4. 与现有方法的比较：

   • 将AutoAD-Zero与其他音频描述生成方法进行比较，包括显式训练的模型（如AutoAD-I至III和Uni-AD）和无需训练的零样本方法（如MM-Narrator和LLM-AD）。

5. 新数据集（TV-AD）的性能评估：

   • 在新创建的TV-AD数据集上评估模型性能，该数据集包含电视剧的音频描述。

6. 定性结果展示：

   • 提供了多个电影和电视剧的定性结果，展示了AutoAD-Zero如何将角色信息与动作关联起来生成音频描述。

7. 评估指标：

   • 使用了CIDEr、CRITIC和LLM-AD-Eval等不同的评估指标来衡量生成的音频描述的质量。

8. 实施细节：

   • 描述了实现AutoAD-Zero所需的具体技术细节，包括角色识别、视频描述和音频描述预测的具体实现方法。

9. 扩展性和灵活性测试：

   • 测试了AutoAD-Zero模型在不同电影和电视剧数据集上的扩展性和灵活性。

通过这些实验，论文证明了AutoAD-Zero在无需训练的情况下生成音频描述的有效性，并展示了其在多个评价指标上与现有方法相比的竞争力。

论文的主要内容：

这篇论文提出了一个名为AutoAD-Zero的框架，旨在无需训练的情况下生成电影和电视剧的音频描述（ADs）。以下是论文的主要内容总结：

1. 目标与贡献：

   • 生成音频描述，为视觉障碍者提供视频内容的描述。

   • 利用预训练的视觉-语言模型（VLM）和大型语言模型（LLM）。

   • 提出一种无需训练的方法，通过视觉和文本提示实现角色识别和描述。

2. 方法：

   • 第一阶段：VLM生成详尽的视频描述，包括角色、动作、互动和表情。

   • 第二阶段：LLM将详细描述总结成一句简洁的AD。

3. 角色识别：

   • 使用面部检测和匹配技术，将视频中的面孔与角色库中的肖像图像匹配。

4. 视觉提示：

   • 在视频帧中用彩色圆圈标记角色，并将角色名称和颜色代码作为文本提示提供给VLM。

5. 两阶段生成过程：

   • 第一阶段：VLM处理视频帧和文本问题，生成全面的视频描述。

   • 第二阶段：LLM根据第一阶段的输出，生成最终的AD。

6. 新数据集（TV-AD）：

   • 引入一个新的数据集，包含电视剧的音频描述，用于评估模型性能。

7. 实验：

   • 在多个电影和电视AD数据集上评估AutoAD-Zero，包括MAD-Eval、CMD-AD和新提出的TV-AD。

   • 使用CIDEr、CRITIC和LLM-AD-Eval等指标衡量生成的AD质量。

8. 结果：

   • AutoAD-Zero在无需训练的情况下，展现出与一些经过微调的模型竞争的性能，并在某些指标上达到最先进的结果。

9. 讨论与扩展：

   • 提出了一些潜在的研究方向，包括增强VLM的知识、扩展第二阶段的上下文、优化视觉和文本提示设计等。

10. 结论：

    • AutoAD-Zero提供了一种有效的零样本音频描述生成方法，具有很好的扩展性和灵活性，能够直接应用于新的VLM和LLM。

论文通过这些方法和实验，展示了AutoAD-Zero在生成音频描述方面的潜力，为视觉障碍者提供了一种新的辅助工具。

3.HandDGP: Camera-Space Hand Mesh Prediction with Differentiable Global Positioning

标题： HandDGP：具有可微分全球定位的相机空间手网格预测 

作者：Eugene Valassakis, Guillermo Garcia-Hernando

文章链接：https://arxiv.org/abs/2407.15844

项目代码：https://nianticlabs.github.io/handdgp/

摘要：

        从单个 RGB 图像预测相机空间手部网格对于在 3D 虚拟和增强世界中实现真实的手部交互至关重要。以前的工作通常将任务分为两个阶段：给定手部的裁剪图像，预测相对坐标中的网格，然后在单独且独立的阶段将这些预测提升到相机空间，这通常会导致有价值的上下文和比例信息的丢失。为了防止丢失这些线索，我们建议将这两个阶段统一为解决 2D-3D 对应问题的端到端解决方案。该解决方案通过新的可微分全球定位模块实现从相机空间输出到网络其余部分的反向传播。我们还引入了图像校正步骤，可以协调训练数据集和输入图像，就好像它们是使用同一台相机采集的一样，有助于缓解问题固有的尺度深度模糊性。我们根据三个公共基准的多个基线和最先进的方法来验证我们的框架在评估中的有效性。

这篇论文试图解决什么问题？

 这篇论文提出了一个名为HandDGP的框架，旨在解决从单目RGB图像中预测相机空间手部网格的问题。具体来说，它试图解决以下挑战：

1. 2D-3D对应问题：传统的手部网格预测方法通常分为两个阶段：首先预测相对于预定义根关节（如手腕）的手部网格，然后将这些预测提升到相机空间。这种方法可能会导致在不同阶段之间丢失有价值的上下文和尺度信息。

2. 尺度和深度歧义：在2D图像到3D空间的转换中，存在尺度和深度的歧义，这使得精确预测手部在相机空间中的位置变得复杂。

3. 端到端学习：为了克服这些挑战，论文提出了一个统一的端到端解决方案，通过一个新的可微全局定位模块（Differentiable Global Positioning, DGP），使得从相机空间输出到网络其余部分的反向传播成为可能。

4. 图像矫正：论文还引入了一个图像矫正步骤，使得训练数据集和输入图像在相同的相机模型下进行处理，有助于减轻尺度-深度歧义问题。

5. 手部网格预测的准确性：论文的目标是提高手部网格在相机空间中的预测精度，这对于在3D虚拟和增强现实中实现逼真的手部交互至关重要。

通过这些方法，HandDGP框架旨在提高手部网格预测的准确性，特别是在相机空间中的预测，这对于虚拟现实、增强现实应用以及3D手部交互等场景具有重要意义。

论文如何解决这个问题？

论文提出了HandDGP框架，通过以下几个关键步骤解决从单目RGB图像预测相机空间手部网格的问题：

1. 端到端学习：HandDGP将根相对网格预测和3D提升功能统一到一个端到端的学习过程中，避免了传统两阶段方法中可能出现的信息丢失。

2. 可微全局定位模块（DGP）：提出了一个Differentiable Global Positioning (DGP)模块，该模块基于Direct Linear Transform (DLT)算法，能够从相机空间输出反向传播梯度到2D-3D对应关系。这使得网络能够直接在相机空间中学习手部网格。

3. 图像矫正：引入了一个图像和相机参数矫正步骤，将所有训练数据转换到一个规范的相机空间中，减少了网络在训练过程中必须解决的歧义。

4. 关键点选择和权重：使用一个权重解码器来预测每个关键点的置信度权重，这些权重用于加权最小二乘解决方案，以考虑关键点的不确定性，特别是在手部遮挡或自我遮挡的情况下。

5. 网络架构：设计了一个包含编码器、2D解码器、3D解码器和权重解码器的网络架构，用于预测2D关键点、根相对3D顶点和关键点置信度权重。

6. 损失函数：定义了相对空间损失和相机空间损失，以训练网络在两个空间中都能准确预测。

7. 实验验证：在公共基准测试（如FreiHAND、HO3D-v2和Human3.6M）上进行了广泛的实验，验证了HandDGP框架相对于现有技术的有效性。

通过这些方法，HandDGP框架能够在相机空间中实现更准确的手部网格预测，这对于3D虚拟和增强现实应用中的手部交互至关重要。

论文做了哪些实验？

论文中进行了以下实验来验证HandDGP框架的有效性：

1. 数据集：实验在以下数据集上进行：

   • FreiHAND：用于手部姿态和形状的标记数据集。

   • HO3D-v2：包含手部与物体交互的3D手部数据集。

   • Human3.6M：大规模的人体姿态数据集，作者将其适应用于全身网格预测。

2. 基线和方法消融实验：通过比较不同的基线方法和HandDGP的不同变体来评估各个组件的影响。这些包括：

   • 不同的根预测方法，如PnP、DLT、RootNet和优化方法。

   • 图像矫正步骤的影响。

   • 端到端训练的影响，即是否在训练期间通过DGP模块传播梯度。

3. 指标：使用了以下指标来衡量预测的准确性：

   • CS-MJE / CS-MVE：相机空间中预测关节（MJE）/顶点（MVE）与真实值之间的欧几里得距离。

   • RS-MJE / RS-MVE：经过Procrustes对齐的预测和真实值之间的误差。

4. 定性结果：展示了在不同数据集上的测试图像的定性结果，包括成功的预测和一些罕见的失败案例，如由于模糊、视角变化和自遮挡引起的高歧义情况。

5. 关键点选择：通过可视化测试集图像上预测的2D关键点及其关联的权重，展示了权重解码器对整体流程的贡献。

6. 与现有技术的比较：将HandDGP与现有的相机空间手部网格预测方法进行了比较，包括ObMan、MANO CNN、I2L-MeshNet、NVF、CMR-SG-RN18、CMR-SG-RN50、MobRecon-RN50等。

7. 一般性验证：在补充材料中展示了将HandDGP框架应用于不同的最先进的根相对方法的效果。

8. 失败案例分析：分析了在某些情况下HandDGP可能失败的情况，并讨论了这些失败案例的原因。

这些实验结果表明HandDGP在相机空间手部网格预测方面优于现有的方法，并且通过消融实验验证了其设计选择的有效性。

论文的主要内容：

这篇论文的主要内容可以总结如下：

1. 问题定义：论文针对从单目RGB图像中预测相机空间手部网格的问题，提出了一种新的端到端解决方案HandDGP，旨在解决现有方法中的信息丢失和尺度-深度歧义问题。

2. 相关工作：介绍了在相机空间3D手部网格预测领域的相关研究，包括不同的手部网格预测方法和可微对应求解器。

3. 方法介绍：

   • 提出了Differentiable Global Positioning (DGP)模块，允许从相机空间输出反向传播到网络。

   • 引入了图像矫正步骤，以减少训练过程中的尺度-深度歧义。

4. 网络架构：描述了HandDGP的网络架构，包括编码器、2D解码器、3D解码器、权重解码器以及它们如何协同工作。

5. 关键技术：

   • 利用DGP模块直接在相机空间中学习手部网格。

   • 通过权重解码器预测关键点的置信度权重，以处理关键点的不确定性。

6. 实验验证：在FreiHAND、HO3D-v2和Human3.6M等公共基准上进行了广泛的实验，验证了HandDGP框架的有效性，并与现有技术进行了比较。

7. 消融研究：通过基线和方法消融实验，展示了HandDGP设计选择的有效性，包括DGP模块、图像矫正和关键点权重的重要性。

8. 定性分析：提供了定性结果，包括成功的预测和一些失败案例，以及关键点选择对整体流程的贡献。

9. 与现有技术的比较：展示了HandDGP在相机空间手部网格预测方面相对于其他方法的优势。

10. 结论与未来工作：总结了HandDGP的主要贡献，并提出了未来研究的方向，如上下文感知方法、多模态数据融合等。

论文通过提出HandDGP框架，为3D手部网格预测领域提供了一种新的解决方案，特别是在相机空间中的预测精度方面取得了显著的改进。