CV最新论文｜3月28日 arXiv更新论文合集

以下内容由马拉AI整理，今天为大家带来3月28日 arXiv 计算机视觉和模式识别相关论文：

1、MetaCap: Meta-learning Priors from Multi-View Imagery for Sparse-view Human Performance Capture and Rendering

MetaCap：从多视图图像中学习元先验，用于稀疏视图的人类表现捕捉和渲染

摘要：从稀疏的RGB观测中忠实地捕捉人类表演和自由视图渲染是视觉和图形中长期存在的问题。主要挑战是缺乏观察和环境固有的模糊性，例如遮挡和深度模糊。因此，在密集设置中捕获高频外观和几何细节的辐射场在捕捉高频外观和几何细节方面显示出巨大的前景，但在稀疏相机视图上天真地监督它们时表现不佳，因为该场只是过度拟合到稀疏视图输入。为了解决这个问题，我们提出了MetaCap，这是一种高效、高质量的几何恢复和新颖的视图合成方法，给定非常稀疏甚至单一的人类视图。我们的核心思想是仅从潜在的稀疏多视图视频中元学习辐射场权重，这可以作为在描绘人类的稀疏图像上微调它们时的先验。此先验提供了良好的网络权重初始化，从而有效地解决了稀疏视图捕获中的歧义问题。由于人体的铰接结构和运动引起的表面变形，学习这样的先验并非易事。因此，我们建议在姿态规范化空间中对场权重进行元学习，从而减小空间特征范围，使特征学习更有效。因此，我们可以微调我们的场参数，以快速推广到看不见的姿势、新颖的照明条件以及新颖而稀疏（甚至是单目）的相机视图。为了在不同场景下评估我们的方法，我们收集了一个新的数据集 WildDynaCap，其中包含在密集的相机穹顶和野外稀疏相机装备中捕获的主题，并与最近在公共和 WildDynaCap 数据集上的最新方法相比，展示了更好的结果。

2、Benchmarking Object Detectors with COCO: A New Path Forward

使用 COCO 对目标检测器进行基准测试：一条新的前进道路

摘要：在过去十年中，上下文中的通用对象 （COCO） 数据集在对象检测器基准测试方面发挥了重要作用。与每个数据集一样，COCO 包含源于其注释过程的细微错误和缺陷。随着高性能模型的出现，我们不禁要问，COCO的这些错误是否阻碍了其对进一步进展进行可靠基准测试的效用。为了寻找答案，我们检查了 COCO（2017 版）中的数千个掩码，并发现了不同类型的错误，例如不精确的掩码边界、未详尽注释的实例和贴错标签的掩码。由于COCO的普遍存在，我们选择纠正这些错误，以保持与先前研究的连续性。我们开发了 COCO-ReM（精制蒙版），这是一组更简洁的注释，比 COCO-2017 的蒙版质量明显更好。我们评估了 50 个目标检测器，发现预测视觉更清晰掩模的模型在 COCO-ReM 上得分更高，确认它们因 COCO-2017 中的错误而受到错误惩罚。此外，我们使用 COCO-ReM 训练的模型比使用 COCO-2017 训练的较大变体收敛得更快，得分更高，这突出了数据质量在改进目标检测器方面的重要性。有了这些发现，我们提倡将COCO-ReM用于未来的目标检测研究。我们的数据集可在此 https URL 上找到.

3、ObjectDrop: Bootstrapping Counterfactuals for Photorealistic Object Removal and Insertion

ObjectDrop：引导反事实，用于逼真的对象删除和插入

摘要：扩散模型彻底改变了图像编辑，但经常生成违反物理定律的图像，尤其是物体对场景的影响，例如遮挡、阴影和反射。通过分析自监督方法的局限性，我们提出了一个以\q{counterfactual}数据集为中心的实用解决方案。我们的方法涉及在移除单个对象之前和之后捕获场景，同时最大限度地减少其他更改。通过微调该数据集上的扩散模型，我们不仅可以删除对象，还可以删除它们对场景的影响。然而，我们发现将这种方法应用于逼真的对象插入需要一个不切实际的大数据集。为了应对这一挑战，我们提出了引导监督;利用我们在小型反事实数据集上训练的对象移除模型，我们综合地扩展了该数据集。我们的方法在逼真的物体移除和插入方面明显优于以前的方法，特别是在对物体在场景中的效果进行建模方面。

4、Garment3DGen: 3D Garment Stylization and Texture Generation

Garment3DGen：3D 服装风格化和纹理生成

摘要：我们引入了 Garment3DGen，这是一种从基础网格合成 3D 服装资产的新方法，给定单个输入图像作为指导。我们提出的方法允许用户基于真实和合成图像生成 3D 纹理衣服，例如由文本提示生成的图像。生成的资产可以直接覆盖在人体上进行模拟。首先，我们利用图像到3D扩散方法的最新进展来生成3D服装几何形状。然而，由于这些几何体不能直接用于下游任务，因此我们建议将它们用作伪地面实况，并设置一个网格变形优化程序，使基础模板网格变形以匹配生成的 3D 目标。其次，我们引入了精心设计的损耗，允许输入基础网格向所需目标自由变形，同时保持网格质量和拓扑结构，以便可以模拟它们。最后，纹理估计模块生成全局和局部一致的高保真纹理贴图，并忠实地捕捉输入指导，使我们能够渲染生成的 3D 资产。借助 Garment3DGen，用户可以生成他们选择的纹理 3D 服装，而无需艺术家干预。人们可以提供文本提示，描述他们希望生成模拟就绪的 3D 资产的服装。我们对各种真实资产和生成资产进行了大量的定量和定性比较，并提供了如何生成模拟就绪的 3D 服装的用例。

5、Mini-Gemini: Mining the Potential of Multi-modality Vision Language Models

Mini-Gemini：挖掘多模态视觉语言模型的潜力

摘要：在这项工作中，我们介绍了Mini-Gemini，这是一个简单而有效的框架，可以增强多模态视觉语言模型（VLM）。尽管 VLM 的进步促进了基本的视觉对话和推理，但与 GPT-4 和 Gemini 等高级模型相比，性能差距仍然存在。我们试图通过挖掘 VLM 的潜力来缩小差距，以获得更好的性能和任意对任意的工作流程三个方面，即高分辨率视觉令牌、高质量数据和 VLM 引导生成。为了增强视觉令牌，我们建议在不增加视觉令牌数量的情况下使用额外的视觉编码器进行高分辨率优化。我们进一步构建了一个高质量的数据集，促进了精确的图像理解和基于推理的生成，扩大了当前VLM的操作范围。总的来说，Mini-Gemini 进一步挖掘了 VLM 的潜力，并同时为当前的框架提供了图像理解、推理和生成的能力。Mini-Gemini 支持从 2B 到 34B 的一系列密集和 MoE 大型语言模型 （LLM）。它被证明在几个零样本基准测试中取得了领先的性能，甚至超过了开发的私有模型。代码和模型可在此 https URL 中找到。

6、Duolando: Follower GPT with Off-Policy Reinforcement Learning for Dance Accompaniment

Duolando：具有舞蹈伴奏策略外强化学习的追随者 GPT

摘要：我们在 3D 舞蹈生成领域引入了一项新任务，称为舞蹈伴奏，它需要从舞伴“追随者”那里生成响应动作，与领舞者的动作和潜在的音乐节奏同步。与现有的独舞或群舞生成任务不同，双人舞场景需要两个参与者之间高度的互动，需要姿势和位置的微妙协调。为了支持这项任务，我们首先通过记录大约 117 分钟的专业舞者表演，构建了一个大规模且多样化的二重奏互动舞蹈数据集 DD100。为了解决这项任务中固有的挑战，我们提出了一个基于 GPT 的模型 Duolando，该模型以音乐、领导者和追随者运动的协调信息为条件，自动回归预测随后的标记化运动。为了进一步增强 GPT 在看不见的条件下（音乐和领导者动作）生成稳定结果的能力，我们设计了一种非策略强化学习策略，允许模型在人类定义的奖励的指导下，从分布外抽样中探索可行的轨迹。基于收集到的数据集和提出的方法，我们建立了一个具有几个精心设计的指标的基准。

7、ECoDepth: Effective Conditioning of Diffusion Models for Monocular Depth Estimation

ECoDepth：用于单目深度估计的扩散模型的有效调节

摘要：在没有视差线索的情况下，基于学习的单图像深度估计 （SIDE） 模型在很大程度上依赖于图像中的阴影和上下文线索。虽然这种简单性很有吸引力，但有必要在难以捕获的大型多样数据集上训练此类模型。已经表明，使用来自预训练基础模型（如 CLIP）的嵌入可以改善多个应用程序中的零镜头转移。从中汲取灵感，在我们的论文中，我们探讨了使用从预训练的 ViT 模型生成的全局图像先验来提供更详细的上下文信息。我们认为，来自 ViT 模型的嵌入向量，在大型数据集上进行了预训练，比通常的生成伪图像标题的途径（然后是基于 CLIP 的文本嵌入）捕获了更多的 SIDE 相关信息。基于这个想法，我们提出了一种新的SIDE模型，该模型使用以ViT嵌入为条件的扩散主干。我们提出的设计在 NYUv2 数据集上为 SIDE 建立了新的最先进的 （SOTA），实现了 0.059 的 Abs Rel 误差（14% 改进），而当前 SOTA （VPD） 的误差为 0.069。在 KITTI 数据集上，实现了 0.139 的 Sq Rel 误差（改善 2%），而当前 SOTA （GEDepth） 的误差为 0.142。对于使用在 NYUv2 上训练的模型进行零样本转移，我们报告在 （Sun-RGBD、iBims1、DIODE、HyperSim） 数据集上比 NeWCRF 平均相对改进 （20%、23%、81%、25%），而 ZoeDepth 的相对改进为 （16%、18%、45%、9%）。该代码可在此 https URL 中找到。

8、Gamba: Marry Gaussian Splatting with Mamba for single view 3D reconstruction

Gamba：将 Gaussian Splatting 与 Mamba 相结合，实现单视图 3D 重建

摘要：随着对自动化 3D 内容创建流程的需求不断增长，我们解决了从单个图像高效重建 3D 资产的挑战。以前的方法主要依赖于分数蒸馏采样 （SDS） 和神经辐射场 （NeRF）。尽管它们取得了巨大的成功，但由于长时间的优化和大量的内存使用，这些方法遇到了实际的局限性。在本报告中，我们介绍了Gamba，一种从单视图图像开始的端到端摊销3D重建模型，强调了两个主要见解：（1）3D表示：利用大量的3D高斯进行高效的3D高斯飞溅过程;（2）骨干设计：引入基于曼巴的顺序网络，促进上下文相关推理和序列（标记）长度的线性可伸缩性，可容纳大量高斯人。Gamba 在数据预处理、正则化设计和训练方法方面取得了重大进展。我们使用真实世界扫描的 OmniObject3D 数据集，根据现有的基于优化和前馈的 3D 生成方法对 Gamba 进行了评估。在这里，Gamba 在定性和定量方面都展示了具有竞争力的生成能力，同时在单个 NVIDIA A100 GPU 上实现了大约 0.6 秒的惊人速度。

9、Object Pose Estimation via the Aggregation of Diffusion Features

通过扩散特征聚合进行物体姿态估计

摘要:从图像中估计物体的姿态是理解 3D 场景的一项关键任务，最近的方法在非常大的基准测试中显示出有希望的结果。但是，这些方法在处理看不见的对象时会遇到显著的性能下降。我们认为，这是由于图像特征的有限泛化性造成的。为了解决这个问题，我们对扩散模型的特征进行了深入分析，例如稳定扩散，这些模型在模拟看不见的物体方面具有巨大的潜力。基于这一分析，我们创新地引入了这些扩散特征来估计物体姿态。为了实现这一点，我们提出了三种不同的架构，可以有效地捕获和聚合不同粒度的扩散特征，大大提高了物体姿态估计的泛化性。我们的方法在三个流行的基准数据集（LM、O-LM和T-LESS）上明显优于最先进的方法。特别是，我们的方法在看不见的物体上达到了比以前最好的艺术更高的精度：98.2%对93.5%的看不见的LM，85.9%对76.3%的看不见的O-LM，显示了我们方法的很强的泛化性。我们的代码在此 https URL 上发布。

10、SplatFace: Gaussian Splat Face Reconstruction Leveraging an Optimizable Surface

SplatFace：利用可优化表面的高斯 Splat 面重建

摘要：我们介绍了SplatFace，这是一种新颖的高斯飞溅框架，专为3D人脸重建而设计，无需依赖精确的预定几何形状。我们的方法旨在同时提供高质量的新颖视图渲染和准确的 3D 网格重建。我们结合了一个通用的 3D 可变形模型 （3DMM） 来提供表面几何结构，从而可以使用一组有限的输入图像重建人脸。我们引入了一种联合优化策略，该策略通过协同的非刚性对准过程来细化高斯曲面和可变形曲面。提出了一种新的距离度量，即溅射到表面，通过考虑高斯位置和协方差来改善对齐。表面信息还被用于整合世界空间致密化过程，从而获得卓越的重建质量。我们的实验分析表明，所提方法在新型视图合成和其他三维重建方法中具有竞争力，在产生具有高几何精度的三维面网格方面。

11、ImageNet-D: Benchmarking Neural Network Robustness on Diffusion Synthetic Object

ImageNet-D：对扩散合成对象的神经网络鲁棒性进行基准测试

摘要：我们为视觉感知的鲁棒性建立了严格的基准。ImageNet-C、ImageNet-9 和 Stylized ImageNet 等合成图像提供对合成损坏、背景和纹理的特定类型的评估，但这些鲁棒性基准在特定变体中受到限制，并且合成质量较低。在这项工作中，我们引入了生成模型作为数据源，用于合成硬图像，以基准测试深度模型的鲁棒性。利用扩散模型，我们能够生成具有比以往任何工作都更多样化的背景、纹理和材料的图像，我们将这个基准称为 ImageNet-D。实验结果表明，从标准的 ResNet 视觉分类器到 CLIP 和 MiniGPT-4 等最新的基础模型，ImageNet-D 导致一系列视觉模型的准确率显着下降，其准确率显着降低了 60%。我们的研究表明，扩散模型可以成为测试视觉模型的有效来源。代码和数据集可在此 https URL 中找到。

12、RAW: A Robust and Agile Plug-and-Play Watermark Framework for AI-Generated Images with Provable Guarantees

RAW：用于 AI 生成图像的强大且敏捷的即插即用水印框架，具有可证明的保证

摘要：保护知识产权和防止人工智能生成图像的潜在滥用至关重要。本文介绍了一个强大而敏捷的即插即用水印检测框架，称为 RAW。与传统的编码器-解码器方法不同，传统的编码器-解码器方法将固定的二进制代码作为潜在表示中的水印，我们的方法将可学习的水印直接引入原始图像数据中。随后，我们使用与水印联合训练的分类器来检测水印的存在。该框架兼容多种生成式架构，支持训练后即时注入水印。通过结合最先进的平滑技术，我们表明该框架为错误分类水印图像的误报率提供了可证明的保证，即使存在某些针对水印去除的对抗性攻击。对由最先进的扩散模型生成的各种图像进行的实验表明，与现有方法相比，性能得到了显着提高。例如，与最先进的方法相比，我们的方法在检测对抗性攻击下的水印图像方面显着增加，从 0.48 增加到 0.82，同时保持图像质量，如紧密对齐的 FID 和 CLIP 分数所示。

13、ModaLink: Unifying Modalities for Efficient Image-to-PointCloud Place Recognition

ModaLink：统一模态以实现高效的图像到点云位置识别

摘要：位置识别是机器人和自动驾驶汽车在预先构建的地图中进行自我定位和闭环的重要任务。虽然基于单模态传感器的方法显示出令人满意的性能，但从点云数据库中检索图像的跨模态位置识别仍然是一个具有挑战性的问题。当前的跨模态方法使用深度估计将图像转换为 3D 点进行模态转换，这通常是计算密集型的，并且需要昂贵的标记数据进行深度监督。在这项工作中，我们引入了一个快速且轻量级的框架，将图像和点云编码为具有地方特色的描述符。我们提出了一种有效的视场（FoV）转换模块，用于将点云转换为与图像类似的模态。该模块消除了深度估计的必要性，并帮助后续模块实现实时性能。我们进一步设计了一种基于非负因式分解的编码器，以提取点云和图像之间相互一致的语义特征。此编码器为检索生成更独特的全局描述符。在KITTI数据集上的实验结果表明，我们提出的方法在实时运行时实现了最先进的性能。对覆盖17 km轨迹的HAOMO数据集的进一步评估进一步显示了实际的泛化能力。我们已将我们的方法的实现作为开源发布在：这个 https URL。

14、Detection of subclinical atherosclerosis by image-based deep learning on chest x-ray

通过基于图像的深度学习检测胸部X线的亚临床动脉粥样硬化

摘要：目标。开发一种基于深度学习的系统，用于在平板正面胸部 X 光片上识别亚临床动脉粥样硬化。方法和结果。在一级预防患者（58.4% 男性，中位年龄 63 [51-74] 岁）的 460 名胸部 X 线检查（80% 训练队列，20% 内部验证队列）上开发了一种预测冠状动脉钙化 （CAC） 评分的深度学习算法（AI-CAC 模型），并针对任何临床原因进行了配对的胸部 X 线检查和胸部计算机断层扫描 （CT），并在 3 个月内进行。胸部 CT 计算的 CAC 评分被用作基本事实。该模型在来自同一机构的 90 名患者的时间独立队列中进行了验证（外部验证）。通过曲线下面积（AUC）评估的AI-CAC模型的诊断准确性是主要结局。总体而言，AI-CAC评分中位数为35（0-388），28.9%的患者没有AI-CAC。识别 CAC>0 的 AI-CAC 模型的 AUC 在内部验证队列中为 0.90，在外部验证队列中为 0.77。两个队列的敏感性始终高于 92%。在整个队列 （n=540） 中，在 AI-CAC=0 的患者中，4.3 年后发生了一次 ASCVD 事件。AI-CAC>0 患者对 ASCVD 事件的 Kaplan Meier 估计值显著更高 （13.5% vs. 3.4%，log-rank=0.013）。结论。AI-CAC 模型似乎可以准确检测胸部 X 线检查的亚临床动脉粥样硬化，敏感性较高，并预测阴性预测值升高的 ASCVD 事件。采用 AI-CAC 模型来完善 CV 风险分层或作为机会性筛选工具需要前瞻性评估。

15、Towards Image Ambient Lighting Normalization

迈向图像环境照明归一化

摘要：照明归一化是一项关键但尚未被充分探索的修复任务，具有广泛的应用。然而，现有的作品经常在阴影去除的背景下简化这项任务，将光源限制为一个光源并过度简化场景，从而排除了复杂的自阴影并将表面类别限制为平滑的表面类别。尽管很有希望，但这种简化阻碍了在日常使用中遇到的更真实设置的通用性。在本文中，我们提出了一项新的挑战性任务，称为环境照明归一化（ALN），它能够研究阴影之间的相互作用，在更广泛的背景下统一图像恢复和阴影去除。为了解决ALN缺乏合适的数据集的问题，我们引入了大规模高分辨率数据集Ambient6K，该数据集包括从多个光源获得的样本，并包括由复杂几何形状产生的自阴影，这是同类数据集中的第一个。对于基准测试，我们选择了各种主流方法，并在 Ambient6K 上对其进行了严格的评估。此外，我们提出了IFBlend，这是一种新型的强基线，可以最大化图像-频率联合熵，以选择性地恢复不同照明条件下的局部区域，而无需依赖阴影定位先验。实验表明，与具有蒙版先验的阴影特定模型相比，IFBlend 在 Ambient6K 上获得了 SOTA 分数，并且在传统阴影去除基准测试中表现出具有竞争力的性能。数据集、基准测试和代码可在此 https URL 上找到。

16、Mitigating Hallucinations in Large Vision-Language Models with Instruction Contrastive Decoding

通过指令对比解码减轻大型视觉语言模型中的幻觉

摘要：大型视觉语言模型 （LVLM） 越来越擅长从视觉输入中生成上下文详细和连贯的响应。然而，它们在多模态决策和开放式生成中的应用受到显着的幻觉率的阻碍，其中生成的文本不准确地表示视觉内容。为了解决这个问题，本文介绍了指令对比解码（ICD）方法，这是一种旨在减少LVLM推理过程中幻觉的新方法。我们的方法受到我们的观察的启发，即我们所谓的干扰指令会显着加剧多模态融合模块中的幻觉。ICD对比标准和指令干扰的分布，从而增加了对齐不确定性，并有效地从原始分布中减去幻觉概念。通过对判别基准（POPE和MME）和生成基准（LLaVa-Bench）的综合实验，我们证明了ICD可以显着减轻对象级和属性级的幻觉。此外，我们的方法不仅解决了幻觉问题，而且显着增强了LVLM的一般感知和识别能力。

17、Bringing Textual Prompt to AI-Generated Image Quality Assessment

将文本提示引入 AI 生成的图像质量评估

摘要：人工智能生成的图像 （AGI） 具有固有的多模态性质。与传统的自然场景图像质量评估（IQA）不同，AGI质量评估（AGIQA）考虑了图像及其文本提示的对应关系。这与地面实况分数相耦合，混淆了单峰 IQA 方法。为了解决这个问题，我们引入了IP-IQA（AGIs Quality Assessment via Image and Prompt），这是一个通过相应的图像和提示合并实现AGIQA的多模态框架。具体来说，我们提出了一个名为Image2Prompt的新型增量预训练任务，以更好地理解AGI及其相应的文本提示。还应用了一个有效且高效的图像提示融合模块，以及一个新颖的特殊 [QA] 令牌。两者都是即插即用的，有利于图像及其相应提示的配合。实验表明，我们的IP-IQA在AGIQA-1k和AGIQA-3k数据集上达到了最先进的水平。代码将可用。

18、SAT-NGP : Unleashing Neural Graphics Primitives for Fast Relightable Transient-Free 3D reconstruction from Satellite Imagery

SAT-NGP：释放神经图形基元，从卫星图像中实现快速可重新照明的瞬态无 3D 重建

摘要：当前的立体视觉管道在使用多对或三元卫星图像时可产生高精度的 3D 重建。但是，这些管线对由于多日期采集而可能发生的图像之间的更改很敏感。这种变化主要是由于可变的阴影、反射和瞬态物体（汽车、植被）。为了考虑到这些变化，神经辐射场（NeRF）最近被应用于多日期卫星图像。然而，神经方法的计算密集型非常大，需要几十个小时来学习，而标准立体视觉管道则需要几分钟。遵循即时神经图形原语的思想，我们建议使用高效的采样策略和多分辨率哈希编码来加速学习。我们的模型卫星神经图形基元 （SAT-NGP） 将学习时间减少到 15 分钟，同时保持 3D 重建的质量。

19、Dense Vision Transformer Compression with Few Samples

使用少量样本进行密集视觉转换器压缩

摘要：小样本模型压缩旨在将大型模型压缩为更紧凑的模型，只需一个很小的训练集（即使没有标签）。块级修剪最近已成为在小样本 CNN 压缩中实现高精度和低延迟的领先技术。但是，视觉变形金刚（ViT）的少射压缩在很大程度上仍未得到探索，这带来了新的挑战。特别是，传统的CNN小样本方法存在稀疏压缩问题，只能产生极少数不同模型大小的压缩模型。该文提出了一种新的小样本ViT压缩框架，称为DC-ViT。DC-ViT 没有丢弃整个模块，而是有选择地消除注意力模块，同时保留和重用 MLP 模块的部分内容。DC-ViT 支持密集压缩，从而输出大量压缩模型，这些压缩模型密集填充模型复杂度范围。DC-ViT 的性能比最先进的小样本压缩方法高出 10 个百分点，同时 ViT 及其变体的压缩延迟更低。

20、Annolid: Annotate, Segment, and Track Anything You Need

Annolid：注释、细分和跟踪您需要的任何内容

摘要：Annolid 是一个基于深度学习的软件包，旨在对视频文件中的研究目标进行分割、标记和跟踪，主要关注动物行为分析。基于最先进的实例分割方法，Annolid 现在利用 Cutie 视频对象分割模型，从单个注释帧中实现对多只动物的弹性、无标记跟踪，即使在它们可能部分或完全被环境特征或彼此隐藏的环境中也是如此。我们集成了 Segment Anything 和 Grounding-DINO 策略，还支持通过文本命令自动屏蔽和分割可识别的动物和物体，无需手动注释。Annolid 的综合对象分割方法灵活地适应了广泛的行为分析应用，除了跟踪动物及其身体部位外，还可以对不同的行为状态进行分类，例如冻结、挖掘、幼犬蜷缩和社交互动。