CV每日论文--2024.6.24

1、Whiteboard-of-Thought: Thinking Step-by-Step Across Modalities

中文标题：思维白板：跨模式逐步思考

简介：这段话描述了一种利用思维白板提示来增强大型语言模型在视觉推理任务中的性能的方法。

人类在解决需要视觉思考的问题时,通常会切换到使用心理图像或绘制辅助工具的推理方式。而现有的大型语言模型则更擅长进行文字链式推理,在算术和符号推理任务上取得了不错的结果。

然而,即使经过广泛的多模态预训练,这些模型仍难以将这种能力扩展到那些更适合通过视觉推理解决的文本查询。作者提出了一种"思维白板提示"的简单方法来解决这个问题。

思维白板提示为多模态大型语言模型提供了一个隐喻性的"白板",让模型可以在图像形式上绘制出推理步骤,并将其反馈给模型进行进一步处理。这种方法利用了模型已有的编程能力和一些可视化库,无需专门的模块设计。

实验结果表明,这种方法在涉及视觉和空间推理的多个困难自然语言任务上取得了最先进的性能,大大超越了仅使用链式文字推理的GPT-4o模型。作者还对这项技术的成功原因和错误源进行了深入分析。

2、A Survey of Multimodal-Guided Image Editing with Text-to-Image Diffusion Models

中文标题：使用文本到图像扩散模型的多模态引导图像编辑综述

简介：根据提供的 GitHub 资源 "Awesome-Image-Editing"，我总结如下:

1. 这是一个用于记录和跟踪基于文本到图像(T2I)扩散模型的多模态引导图像编辑方法的资源库。

2. 它包含了最近在这个领域发表的重要工作,并对它们进行了综合评估。特别是,这个资源库概述了以下内容:

- 图像编辑的各种控制信号和编辑场景

- 一个统一的编辑过程框架,将方法归类为两大类算法

- 对框架中各组件的深入分析,包括不同组合的特点和适用场景

- 基于训练的直接映射方法,以及在不同场景下的源图像注入方案

- 将二维技术应用于视频编辑的情况,以及解决帧间不一致性的解决方案

- 该领域面临的挑战和潜在的未来研究方向

3. 这个资源库对于了解基于T2I扩散模型的多模态图像编辑技术的最新进展非常有帮助。它为研究人员探索新颖组合提供了参考,以提高在具有挑战性的场景下的性能。

总的来说,这是一个非常有价值的资源,集中了近期该领域的重要工作,并提供了全面的分析和展望。研究人员可以在此基础上进一步探索和创新。

3、Advancing Fine-Grained Classification by Structure and Subject Preserving Augmentation

中文标题：通过结构和主题保留增强推进细粒度分类

简介：基于上述内容,我可以做以下回应:

1. 细粒度视觉分类(FGVC)是一个极具挑战性的任务,因为不同类别之间存在微小差异,同时类内差异也很大。另外,FGVC数据集通常很小,很难收集,需要有效的数据增强方法。

2. 最近,文本到图像的扩散模型为FGVC数据集的增强提供了新的机会。但是,现有的方法在生成准确表示类别的图像同时又能增加数据集多样性方面存在局限性。

3. 为了解决这些问题,作者提出了SaSPA(结构和主题保持增强)方法。与现有方法不同,SaSPA不使用真实图像作为指导,从而增加了生成的灵活性和多样性。作者采用了条件机制,通过对图像边缘和主题表示进行控制,确保生成图像能准确表示类别。

4. 通过广泛的实验,作者发现SaSPA在多个设置下均优于其他基线方法,包括完整数据集训练、上下文偏差和少样本分类。此外,实验结果还揭示了使用合成数据进行FGVC模型训练的有趣模式。

5. 该项目的代码可以在https://github.com/EyalMichaeli/SaSPA-Aug 获取。