CVPR 2023 Best Paper｜VISPROG：以神经符号方式将人工智能推向更广泛、更复杂的任务领域

AI Around

已于 2023-07-04 08:49:39 修改

阅读量624

点赞数

分类专栏：论文解读文章标签：人工智能计算机视觉深度学习

于 2023-07-04 08:49:05 首次发布

本文链接：https://blog.csdn.net/AIAround/article/details/131527309

版权

本文介绍了CVPR 2023最佳论文之一的VISPROG，这是一种神经符号方法，通过生成可执行的Python程序，结合自然语言指令和现有计算机视觉模型，实现无需训练的复杂视觉任务解决。VISPROG具有可组合性和可解释性，目前支持20个模块，可用于图像理解、操作和知识检索等。通过GPT-3生成程序，它能在多项任务中展现出灵活性，包括视觉问答、零样本推理、知识对象标注和图像编辑，并提供可视化的推理过程解释。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文将为大家介绍CVPR 2023年最佳论文两篇中的Visual Programming: Compositional visual reasoning without training （视觉编程：无需训练的组合式视觉推理），代码已开源。

Title:

Visual Programming: Compositional visual reasoning without training
Paper:

https://openaccess.thecvf.com/content/CVPR2023/html/Gupta_Visual_Programming_Compositional_Visual_Reasoning_Without_Training_CVPR_2023_paper.html
Code:

https://github.com/allenai/visprog

01 /导读/

VISPROG是一种神经符号方法，可利用自然语言指令解决复杂的组合式视觉任务。VISPROG避免了任何特定于任务的训练需求。相反，它利用大型语言模型的上下文学习能力生成类似Python的可组合程序，这些程序将被执行以获得解决方案和全面可解释的推理结果。生成的程序的每一行可以调用多个现成的计算机视觉模型、图像处理子程序或Python函数以生成中间输出，后续程序部分可以使用这些中间输出。在四项不同的任务中展示了VISPROG的灵活性：组合式视觉问答、基于图像对的零样本推理、实际知识对象标注和语言引导图像编辑。类似VISPROG这样的神经符号方法是扩展人工智能系统范围