【每日论文】Referring to Any Person

下载PDF或查看论文，请点击：LlamaFactory - huggingface daily paper - 每日论文解读 | LlamaFactory | LlamaFactory

摘要

毫无疑问，人类是计算机视觉中最重要参与者，而根据自然语言描述检测任何个体（我们将此任务定义为指代任何一人）的能力具有重大的实际价值。然而，我们发现现有模型普遍无法达到实际应用的可用性，而当前的基准测试由于其对一对一指代的关注而受到限制，这阻碍了该领域的进展。在这项工作中，我们从三个关键角度重新审视这项任务：任务定义、数据集设计和模型架构。我们首先确定了可指代实体的五个方面和这项任务的三个显著特征。接下来，我们介绍了HumanRef，这是一个旨在应对这些挑战并更好地反映实际应用的新型数据集。从模型设计的角度来看，我们将多模态大型语言模型与目标检测框架相结合，构建了一个名为RexSeek的鲁棒的指代模型。实验结果表明，在RefCOCO/+/g等常用基准测试中表现良好的最先进模型，由于无法检测多个个体，因此难以处理HumanRef。相比之下，RexSeek不仅在人类指代方面表现出色，而且能够有效地泛化到常见的物体指代，使其能够广泛应用于各种感知任务。代码可在https://github.com/IDEA-Research/RexSeek获取。

一句话总结

本文提出了一个新的任务“指代任意人”，并构建了一个名为HumanRef的大型数据集和一个名为RexSeek的多模态大型语言模型，有效地解决了现有模型在处理多实例指代和现实世界应用中面临的挑战。

问题1：这篇论文想要解决什么具体问题？

• 问题背景：现有的计算机视觉模型难以根据自然语言描述准确识别图像中所有匹配的人，尤其是在多个人出现，需要进行多实例判别和非存在拒绝的复杂场景下。
• 现有方案不足：现有的模型在RefCOCO等基准测试中表现良好，但在HumanRef数据集上表现不佳，主要是因为它们无法有效处理多实例指代、多实例区分和非存在拒绝等情况。
• 研究目标：本文旨在重新定义“指代任意人”任务，构建一个更贴合实际应用场景的新数据集HumanRef，并设计一个鲁棒的模型来解决多实例指代问题。

问题2：论文的核心创新点是什么？

• 技术创新：提出了RexSeek，一个基于检测的多模态大型语言模型，它结合了目标检测框架和大型语言模型，有效地提高了对多实例指代的处理能力。
• 方法改进：采用多阶段训练方法，逐步优化检测和理解能力，最终模型在HumanRef数据集上取得了显著的性能提升。
• 优势：与现有模型相比，RexSeek不仅在“指代任意人”任务上表现出色，而且能够泛化到通用的目标指代任务，具有更广泛的应用价值。

问题3：实验结果如何验证了方法的有效性？

• 关键实验：在HumanRef基准测试集上，与其他几种最先进的模型进行了对比实验，并进行了消融实验，验证了多阶段训练策略的有效性。
• 性能提升：RexSeek在HumanRef基准测试上的Recall, Precision和DensityF1指标均显著高于其他模型，例如在平均DensityF1指标上提升了超过20个百分点。具体数值见表4。
• 对比结果：与其他模型相比，RexSeek在处理多实例指代方面优势明显，尤其是在召回率方面有显著提升，有效解决了现有模型在多实例场景下的性能瓶颈。

问题4：这个研究的实际应用价值是什么？

• 应用场景：该研究成果可应用于人机交互、工业自动化、医疗保健等多个领域，例如机器人导航、图像检索、辅助诊断等。
• 实施建议：建议在实际应用中，根据具体需求选择合适的模型和数据集，并对模型进行微调以提高性能。同时，需要考虑数据集的质量和多样性。
• 局限与展望：HumanRef数据集目前规模相对有限，未来可以进一步扩展数据集规模和多样性，以提高模型的泛化能力。此外，可以探索更先进的模型架构和训练方法，进一步提升模型性能。