Paper Reading：《LISA: Reasoning Segmentation via Large Language Model》

最新推荐文章于 2025-03-30 15:15:27 发布
最新推荐文章于 2025-03-30 15:15:27 发布
阅读量2.6k 收藏 10
点赞数 5
分类专栏： Paper Reading 文章标签： 语言模型 人工智能 自然语言处理 计算机视觉 笔记 论文阅读 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Transfattyacids/article/details/132254770
版权

在这里插入图片描述

目录

简介

《LISA: Reasoning Segmentation via Large Language Model》基于大型语言模型的推理分割

日期：2023.8.1(v1)
单位：香港中文大学，思谋科技，微软亚洲研究院
论文地址：https://arxiv.org/abs/2308.00692
GitHub：https://github.com/dvlab-research/LISA

作者：

赖昕，香港中文大学三年级博士生，师从贾佳亚教授。主要研究方向是三维点云感知，迁移学习，半监督学习，小样本学习。已发表顶会顶刊论文8篇，其中一作4篇。
在这里插入图片描述
同等贡献
在这里插入图片描述

其他作者


（Jiaya Jia：贾佳亚）

  • 原文摘要

    ​ 尽管近年来感知系统取得了显著进步，但它们在执行视觉识别任务之前，仍然依赖于明确的人类指令来识别目标对象或类别。这类系统缺乏主动推理和理解用户隐含意图的能力。在这项工作中，我们提出了一项新的分割任务–推理分割。该任务旨在根据复杂而隐含的查询文本输出分割掩码。此外，我们还建立了一个由一千多个图像-指令对组成的基准，其中包含用于评估目的的复杂推理和世界知识。最后，我们介绍了 LISA：大型语言指令分割助手，它继承了多模态大型语言模型（LLM）的语言生成能力，同时还具备生成分割掩码的能力。我们用 标记扩展了原始词汇，并提出了embedding-as-mask paradigm来解锁分割能力。值得注意的是，LISA 可以处理涉及以下方面的情况：1）复杂推理；2）世界知识；3）解释性回答；4）多回合对话。此外，当完全在无推理数据集上进行训练时，LISA 还表现出强大的zero-shot能力。此外，仅使用 239 个推理分割图像-指令对，对模型进行微调，也能进一步提高性能。实验表明，我们的方法不仅解锁了新的推理分割能力，而且在复杂推理分割和标准referring分割任务中都证明了其有效性。

目标

动机是想要实现推理分割Reasoning segmentation，即根据复杂而隐含的查询文本输出分割掩码。

如图1所示，可以处理各种场景，包括:1)复杂推理;2)世界知识;3)解释性答案;4)多回合对话。
在这里插入图片描述

我们为当前的多模态LLMs解锁了新的细分功能。所得到的模型(LISA)能够处理以下情况:1)复杂推理;2)世界知识;3)解释性答案;4)多回合对话

提出了模型LISA，一个大型语言指导分割助手，是一个能够产生分割掩码的多模态大语言模型。

它继承了多模态大型语言模型（LLM）的语言生成能力，同时还具备生成分割掩码的能力。我们用 标记扩展了原始词汇，并提出了嵌入作为掩码范式来解锁分割能力。

此外，为了验证有效性，我们建立了一个用于推理分割评估的基准，称为ReasonSeg。该基准包含超过1000个图像指令对，为任务提供了有说服力的评估指标。（Fig2为该数据集实例）

带注释的图像指令对的示例。左:短查询。右:长查询。

我看了一下提供的代码，个人认为，本质上就是LLaVA多模态大语言模型和SAM图像分割基础模型的组合应用。

创新点

提出了一种新的分割任务-推理分割(reasoning segmentation task)

建立了一个推理分割基准–ReasonSeg，其中包含一千多个图像指令对。

提出模型–LISA，该模型采用了嵌入作为掩码范式，增加了新的分割功能。当在不涉及推理的数据集上进行训练时，LISA 在推理分割任务上表现出了强大的zero-shot能力，并且通过在涉及推理的 239 对图像-指令对上进行微调，进一步提高了性能。

方法

在这里插入图片描述

给定输入图像和文本查询，多模态LLM生成文本输出。<SEG> token的最后一层嵌入然后通过解码器解码到分割掩码中。vision backbone的选择可以是灵活的（例如，SAM、Mask2Former）

在这里插入图片描述

LoRA：大型语言模型的低秩适配器

微调大模型的方法，可以在使用大模型适配下游任务时只需要训练少量的参数即可达到一个很好的效果。流程很简单，LoRA利用对应下游任务的数据，只通过训练新加部分参数来适配下游任务。

而当训练好新的参数后，利用重参的方式，将新参数和老的模型参数合并，这样既能在新任务上到达fine-tune整个模型的效果，又不会在推断的时候增加推断的耗时。

在这里插入图片描述

使用LLaVA-7B-v1-1或LLaVA-13B-v1-1作为多模态LLM ，并采用ViT-H SAM backbone 作为vision backbone Fenc。解码器**Fdec**使用的是微调的SAM的mask decoder。投影层γ是一个大小为[256，4096，4096]的MLP。

LLM: Large Language Model
LoRA: Low-Rank Adaptation of Large Language Models
LLaVA: Large Language and Vision Assistan，大型语言和视觉助手

训练

训练目标。使用文本生成损失Ltxt和分割掩码损失Lmask对模型进行端到端训练。总目标L是这些损失的加权和，由**λtxt和λmask**决定:
在这里插入图片描述

具体来说，Ltxt是文本生成的自回归交叉熵损失CE(auto-regressive cross-entropy)，Lmask是掩码损失。为了计算Lmask，我们采用了逐像素二元交叉熵BCE损失(per-pixel binary cross-entropy)和DICE损失的组合，相应的损失权重分别为λbce和λdice。给定真值目标ytxt和M，这些损失可表示为:
在这里插入图片描述
在这里插入图片描述

从不同类型的数据（包括语义分割数据、referring分割数据和视觉问题解答（VQA）数据）中提取训练数据进行说明。

训练数据由三部分组成：

  1. 语义分割数据集。（使用ADE20K, COCO-Stuff, PACO-LVIS, PartImageNet, PASCAL-Part）

  2. 基于文本的分割(Referring Segmentation)数据集。refCOCO, refCOCO+, refCOCOg, and refCLEF 数据集

    原文里是”Vanilla Referring Segmentation Dataset“，说明一下”vanilla“什么意思。

    Vanilla原义香草，香草味就是老美的原味，所以vanilla这个单词引申含义就有“普通的、原始的”的意思。

  3. 可视化问答(VQA)数据集。使用GPT-4生成的LLaVA-Instruct-150k数据

可训练的参数

为了保持预训练的多模态 LLM（即我们实验中的 LLaVA）的泛化能力，利用 LoRA进行了有效的微调，并完全冻结了vision backbone Fenc。
解码器 Fdec 是完全微调的。此外，LLM 的词嵌入和 γ 的投影层也是可训练的

实验

  • 训练数据：语义分割数据集、基于文本的分割(Referring Segmentation)数据集、可视化问答(VQA)数据集，再加上本篇paper建立的ReasonSeg数据集（收集了1218张图像，其中239张训练，200张验证和779张测试），该数据集作为推理分割的基准，主要目的是用于评估。

  • 评价指标有gIoU和cIoU。 由于cIoU较偏向大面积物体，且波动较大，所以首选评价指标是gIoU。
    gIoU: generalized IoU
    cIoU: complete IoU
    ft：表示使用 239 个推理分割图像-指令对来微调模型

Tab1：reasoning segmentation推理分割结果，超过20%的gIoU性能提升来完成涉及复杂推理的任务

Tab2：vanilla referring segmentation任务的比较

Tab3：消融实验，为了验证SAM以外的Vision Backbone也适用于我们的框架，分别使用SAM和Mask2FormerSwin-L的Vision Backbone，无论我们是否在ReasonSeg训练集上微调模型，SAM都比Mask2FormerSwin-L表现更好；

同时发现对SAM的vision backbone进行LoRA微调的效果没有更好，所以没有使用LoRA微调

Tab4：在实验1和实验3，证明SAM预训练权重的有效性；实验2和3中，使γ成为MLP在gIoU中的性能几乎没有下降，但在cIoU中具有相对较高的性能；实验3和4中，比较了是否使用GPT3.5重新表述文本指令，结果证明，使用重新表述是一种有效的数据增强策略

Tab5：展示了每种类型的数据对性能的贡献，影响最大的是语义分割数据集的使用（实验4）

Fig5：提供了与现有相关工作的视觉比较，包括开放词汇语义分割模型（OVSeg）、referring分割模型（GRES）和广义分割模型（X-Decoder和SEEM）。这些模型无法处理具有各种错误的显示案例，而我们的方法产生了准确和高质量的分割结果。

在这里插入图片描述

LISA 和之前相关工作的推理分割结果。ft "表示使用 239 个推理分割图像-指令对来微调模型。

在这里插入图片描述

参考LISA（我们的）和现有方法之间的分割结果（cIoU）ft’表示使用参考分割数据集（refCOCO（+/g））来微调模型

在这里插入图片描述

3：视觉主干设计选择的消融研究ft表示对ReasonSeg训练集进行微调

4：SAM预训练重量、投影层MLPγ的消融研究和重新表述

在这里插入图片描述

训练数据的消融研究

在这里插入图片描述

LISA(我们的)与现有相关方法的视觉比较。更多的例子在附录中给出。

总结

  • 原文conclusion

在这项工作中，我们提出了一种新的分割任务——推理分割。该任务比普通参考分割任务更具挑战性，因为它需要模型根据隐含的用户指令进行主动推理。为了进行有效的评估，我们为这项任务引入了一个基准，即ReasonSeg。我们希望这一基准将有利于相关技术的发展。最后，我们介绍了我们的模型——LISA。通过采用嵌入作为掩模范式，它为当前的多模态LLM注入了新的分割能力，并且在推理分割任务上表现得出奇地好，即使在无推理数据集上进行训练也是如此。因此，它展示了在各种场景中与分割掩码输出聊天的能力。我们相信，我们的工作将为LLM和以vision为中心的任务相结合的方向提供新的线索。

CRITIC-COT: BOOSTING THE REASONING ABILITIES OF LARGE LANGUAGE MODEL VIA CHAIN-OFTHOUGHTS CRITIC
c_cpp_csharp的专栏
09-23 286
自我批评已成为提高LLM推理能力的重要机制。然而，目前的方法主要涉及基本提示，未经进一步训练，往往过于简单化，导致准确性有限。而且，缺乏对LLM批评能力与其任务解决绩效之间关系的深入研究。为了解决这些问题，我们提出了 Critic-CoT，这是一种新颖的框架，通过逐步的 CoT 推理格式和远程监督数据构建，将LLM推向类似 System-2 的批评家能力，而不需要人工注释。
Beyond Accuracy: Evaluating the Reasoning Behavior of Large Language Models - A Survey
c_cpp_csharp的专栏
07-19 450
大型语言模型（LLM）最近在涉及推理的任务中表现出了令人印象深刻的性能，这引发了关于这些模型是否具有与人类相似的推理能力的激烈争论。然而，尽管取得了这些成功，LLM的推理能力的深度仍然不确定。这种不确定性部分源于主要关注任务表现，通过肤浅的准确性指标来衡量，而不是对模型推理行为的彻底调查。本文试图通过对超越任务准确性的研究进行全面回顾来解决这一差距，为模型的推理过程提供更深入的见解。此外，我们调查了评估LLM推理行为的流行方法，强调了当前趋势和对更细致的推理分析的努力。
LISA学习资源汇总 - 基于大语言模型的推理分割助手
m0_56734068的博客
09-12 488
是一个基于大语言模型的图像分割推理系统,由香港中文大学等机构的研究者开发。该系统能够根据自然语言指令生成图像分割结果,并提供解释性输出,实现了复杂推理、世界知识应用、多轮对话等能力。
论文阅读5 LISA: Reasoning Segmentation via Large Language Model
qq_48898746的博客
08-15 2023
本文的论文标题翻译为《现有感知系统在执行视觉识别任务时，无法主动推理和理解基于隐含指令的用户意图。本文提出新的任务定义，。这个任务要求模型能够根据复杂的、隐含的文本查询生成二进制分割掩码。本文提出LISA模型，它继承了多模态大型语言模型（LLMs）的语言生成能力，同时也具备生成分割掩码的能力，使其能够能够处理涉及复杂推理和世界知识的情况。
论文汇报：LISA: Reasoning Segmentation via Large Language Model
最新发布
lqj25的博客
03-30 543
前因：受多模态LLMs（如LLaVA）和通用分割模型（如SAM）启发，填补“复杂指令→分割掩码”的能力空白。创新链条任务定义：将NLP的推理能力引入视觉分割，推动开放词汇交互。模型设计：通过<SEG>标记和嵌入解码，实现LLM与分割模块的端到端融合。数据构建：ReasonSeg为社区提供评估基准。影响技术层面：证明小样本微调即可解锁LLMs的新能力，为多模态模型设计提供新思路。应用层面：适用于机器人、AR等需自然语言交互的场景。核心贡献。
LISA: Reasoning Segmentation via Large Language Model
s_m_c的博客
08-06 819
我们提出了 LISA：大型语言指令分割助手，它继承了多模态大型语言模型 (LLM) 的语言生成能力，同时还具有生成分割掩码的能力。尽管感知系统近年来取得了显著的进展，但在执行视觉识别任务之前，它们仍然依赖于明确的人类指令或预定义的类别来识别目标对象。提出模型——LISA。它将分割能力注入到当前的多模态llm中，并在推理分割任务中表现出奇地有效。为了保持预先训练的多模态LLM (即我们实验中的LLAVA)的学习知识，我们。：在这项工作中，我们提出了一个新的分割任务——推理分割。骨干作为视觉骨干Fenc。
LISA:通过大语言模型进行推理分割
Scabbards_的博客
08-07 3668
我们提出了一种新的分割任务-推理分割。该任务的目的是在给定复杂且隐式的查询文本的情况下输出分割mask。此外，我们建立了一个由一千多个图像指令对组成的基准，将复杂的推理和世界知识纳入评估目的。最后，我们提出了LISA:大型语言指导分割助手，它继承了多模态大型语言模型(LLM)的语言生成能力，同时还具有生成分割掩码的能力。LISA可以处理以下情况:1)复杂推理;2)世界知识;3)解释性答案;4)多回合对话
[论文阅读笔记34] LISA (LISA: Reasoning Segmentation via Large Language Model) 代码精读
wjpwjpwjp0831的博客
08-06 1856
LISA是一个很好的Reason Segmentation的baseline, 其利用特殊的token [SEG]来微调多模态LLM和SAM的decoder来实现复杂逻辑下的prompt的推理分割. 其整体框图如下, 本篇文章精度此代码并作简单复现.
《LISA: REASONING SEGMENTATION VIA LARGE LANGUAGE MODEL》学习记录
nhynhy0的博客
11-13 1915
尽管感知系统近年来取得了显著的进步，但在执行视觉识别任务之前，它们仍然依赖于明确的人类指令来识别目标物体或类别。这样的系统缺乏主动推理（reasoning)和理解隐含用户意图的能力。在这项工作中，我们提出了一种新的分割任务-推理分割（该任务的目的是在给定复杂且隐式（implict）的查询文本的情况下输出分割mask。此外，我们建立了一个由一千多个image-instruction pairs组成的benchmark，将复杂的推理和世界知识纳入评估目的。最后，我们提出了LISA: largeLanguage。
THINK-ON-GRAPH: DEEP AND RESPONSIBLE REASONING OF LARGE LANGUAGE MODEL ON KNOWLEDGE GRAPH（增强KG推理）
m0_60110713的博客
10-16 804
将大模型作为代理，交互式地探索KG上的相关实体和关系，并根据检索到的知识进行推理，提出一种Think-on-Graph (ToG)的方式进一步实现范式。1）与LLM相比，ToG具有更好的深度推理能力；2）ToG利用LLM推理和专家反馈，具备知识溯源和知识纠错能力；3）ToG为不同的LLM、KG和提示策略提供灵活的即插即用框架，无需任何额外的培训成本；4）在某些场景下，小型LLM模型的ToG性能可能超过大型LLM。
Awesome-Referring-Image-Segmentation:关于参考图像分割的论文集
05-16
令人敬畏的图像分割 参考图像分割论文和数据集的集合。 随意创建PR或问题。 大纲 1.数据集 简称 纸 来源 代码/项目链接 推荐 2014年EMNLP Google参考 CVPR 2016 UNC ECCV 2016 UNC + ECCV 2016 [数据集] CLEVR参考+ CLEVR-Ref +：使用引用表达式诊断视觉推理 CVPR 2019 [项目] VGPhraseCut PhraseCut：野外基于语言的图像分割 CVPR 2020 [项目] 2.传统的参考图像分割 简称 纸 来源 代码/项目链接 LTS 找到然后分割：用于参考图像分割的强大管道 CVPR 2021 CGAN 级联分组注意网络，用于引用表达分段 ACM MM 2020年 最小二乘 用于参考图像分割的语言结构指导的上下文建模 ECCV 2020 CMPC-Refseg 通过
Towards Reasoning in Large Language Models: A Survey
weixin_43961909的博客
11-14 724
推理是人类智能的一个基本方面，在解决问题、决策和批判性思维等活动中起着至关重要的作用。近年来，大型语言模型 (LLM) 在自然语言处理方面取得了重大进展，人们观察到，当这些模型足够大时，它们可能会表现出推理能力。然而，目前尚不清楚 LLM 的推理能力有多强。本文全面概述了当前 LLM 推理的知识状态，包括改进和引出这些模型中的推理技术、评估推理能力的方法和基准、该领域先前研究的发现和含义，以及对未来方向的建议。我们的目标是对这个主题进行详细和最新的回顾，并激发有意义的讨论和未来的工作。
港中文提出LISA大模型：解锁多模态大模型“推理分割”能力
我爱计算机视觉
08-11 761
关注公众号，发现CV技术之美本篇文章分享论文 LISA: Reasoning Segmentation via Large Language Model ，由香港中文大学提出 LISA 大模型，解锁多模态大模型“推理分割”能力。详细信息如下：代码和Demo地址：https://github.com/dvlab-research/LISA论文地址：https://arxiv.org/pdf/2308...
贾佳亚团队提出LISA大模型：理解人话「分割一切」，在线可玩！
阿木寺的博客
08-10 287
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【图像分割和论文投稿】交流群金磊 整理自 凹非寺转载自：量子位（QbitAI）分割一切这事，又有一项重磅研究入局。香港中文大学终身教授贾佳亚团队，最新提出LISA大模型——理解人话，精准分割。LISA: Reasoning Segmentation via Large Language Model论文：https...
【iccv2021】Vision-Language Transformer and Query Generation for Referring Segmentation
lynn_Dai的博客
06-22 1204
模型在不同层次上构建了语言和视觉特征之间的深度交互，极大地增强了多模态特征的融合和利用。此外，所提出的模块是轻量级的，其参数大小大致相当于七个卷积层。
Referring Image Segmentation 综述
The smart is sexy
11-26 2613
希望对您有用 (●'◡'●) Cross-Modal Self-Attention Network for Referring Image Segmentation 用了 self-attention 用了 avg-pool 用了 类似lstm遗忘门 开源 Multi-task Collaborative Network for Joint Referring Expression Comprehension and Segmentation 这篇是联合了引用表达式的理解 任务和...
美团提出Lenna：利用大语言模型增强目标检测任务中的推理能力
阿木寺的博客
12-13 656
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【视觉和Transformer】微信交流群扫码加入CVer知识星球，可以最快学习到最新顶会顶刊上的论文idea和CV从入门到精通资料，以及最前沿项目和应用！发论文，强烈推荐！Lenna：语言模型增强的推理检测助手Lenna: Language Enhanced Reasoning Detection Assist...
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
02-10
### DeepSeek-R1 强化学习激励 LLM 推理能力 #### 研究背景与动机 大型语言模型（LLMs）在自然语言处理领域取得了显著进展，但在复杂的推理任务上仍然存在挑战。为了提高这些模型的推理能力，研究人员尝试了多种方法。其中，DeepSeek团队提出了一种新的策略：直接应用强化学习（RL），而不是传统的监督微调（SFT）。这种新方法不仅使模型能够探索更深层次的思维链（CoT），还展示了自我验证、反思以及生成长思维链的能力[^1]。 #### 方法论 ##### DeepSeek-R1-Zero DeepSeek-R1-Zero 是首个完全依靠大规模强化学习训练而成的推理模型，无需任何前期的监督微调。实验结果显示，在面对复杂问题时，该模型会自发增加思考的时间和深度，以此来优化解决方案的质量。这表明，通过适当的设计奖励机制，可以有效引导LLM向更具逻辑性和创造性的方向进化[^2]。 ##### DeepSeek-R1 尽管DeepSeek-R1-Zero表现出了惊人的潜力，但它同样暴露出了一些缺陷，比如较低的语言表达清晰度和较高的语义混乱率。针对这些问题，研究者开发了改进版——DeepSeek-R1。此版本引入了多阶段预训练流程及特别设计的人类友好的初始数据集（即所谓的“冷启动”数据），旨在改善最终输出的内容质量的同时保持高水平的推理效能[^3]。 #### 实验结果分析 通过对两个不同版本的表现对比可以看出： - **推理效率**：两者均能有效地完成指定的任务目标； - **输出品质**：相较于原始形态下的DeepSeek-R1-Zero而言，经过调整后的DeepSeek-R1明显提高了文本连贯性和易理解程度； - **适应范围**：由于采用了更加灵活的学习框架，使得后者具备更强泛化能力和应用场景扩展可能性[^4]。 ```python def compare_models(model_a, model_b): """ Compare two models based on reasoning efficiency and output quality. Args: model_a (str): Name of the first model to be compared. model_b (str): Name of the second model to be compared. Returns: dict: A dictionary containing comparison results between both models. """ result = { "reasoning_efficiency": None, "output_quality": None, "adaptability": None } # Simulate performance metrics gathering here... return result ```
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值