[paper阅读笔记][CVPR2024]VRP-SAM: SAM with Visual Reference Prompt

瘦小星

已于 2024-07-24 21:10:00 修改

阅读量765

点赞数 29

分类专栏： paper阅读笔记文章标签： prompt 计算机视觉人工智能

于 2024-07-23 16:34:19 首次发布

本文链接：https://blog.csdn.net/Xysxx/article/details/140639711

版权

10 篇文章 0 订阅

订阅专栏

利用带有语义标注的参考图像来指导分割目标图像中与参考图像中具有相同语义的物体或区域

分割出目标图像中与参考图像中已标注物体具有相同语义的物体

需要设计有效的VRP编码器来将视觉参考提示引入SAM框架，而有效的VRP编码器需要将注释的参考图像转化为合适的提示，并与目标图像进行交互；需要支持多种注释格式（point、box、mask、scribble）
解决用户熟悉度对提示有效性的影响
SAM本身缺乏对未知对象和跨领域情况的泛化能力，需要一种方法来增强这方面的性能

为了突破SAM面对复杂目标和陌生场景泛化性不强的限制

- 提出一个训练高效的视觉参考提示编码器，该编码器首先容纳各种粒度的视觉参考，然后直接将这些视觉参考编码为提示嵌入，而不是几何提示。然后将这些提示嵌入直接输入到SAM的掩码解码器中，从而生成目标掩码，在不影响SAM原有功能的前提下，增加VPR Encoder进行视觉参考分割。

- Visual Rrefernce Prompt Encoder分为Featrue Augmenter和Prompt Generator，Featrue Augmenter将参考标注分别编码为参考图像和目标图像的特征,用于区分前景和背景表征；Prompt Generator引入一组可学习的查询，再与参考特征、目标图像特征交互，生成可以用于SAM Mask Decoder的视觉参考提示嵌入。

- 带scribble注释的VRP - SAM比FP - Trans提高了2.8 %，带mask注释的VRP - SAM比DGPNet提高了5.8 %。这肯定了VRP - SAM的鲁棒泛化能力及其在领域迁移场景下的有效性。

- Comparison with other foundation models：将VRP-SAM与其他基于Painter、SegGPT和SAM的方法进行比较，并在coco-20数据集上进行评估。
- Comparison with few-shot methods：将VRP-SAM与最先进的少样本分割方法进行比较，在coco-20和pascal-5数据集上实现了最先进的结果。
- Comparison with Geometric Prompts：设计了视觉参考提示（VRP）和几何提示（GP）进行实验比较，验证了VRP相对于GP的优越性。

- Loss：比较使用Binary Cross-Entropy（BCE）和Dice loss对VRP-SAM的影响。结果表明，单独使用BCE或Dice loss时，VRP-SAM的性能相当。然而，当两种损失函数结合使用时，VRP-SAM表现最佳。
- The number of query:增加查询数量与分割质量的提高呈正相关关系。然而，一旦查询数量超过50个，性能改善开始减弱。
- Initialization of query:随机初始化优于其他策略（前景原型( FP )，背景原型( BP )，以及一个前景和背景各占一半的混合原型( half-FP & half - BP)）
- Number of VRPs：研究了视觉参考提示数量对分割结果的影响，结果显示，增加视觉参考提示数量可以显著提高分割性能。

meta-learning（元学习）：旨在使模型能够从不同任务或领域中快速学习和泛化。将任务分为两个层次：元训练（meta-training）和元测试（meta-testing）。在元训练阶段，模型通过学习如何快速适应多个任务或数据集，以及如何更新自身的参数以适应新任务。在元测试阶段，模型会应用在元训练中学到的策略和知识，从而在新任务上实现良好的性能。
Cross attention（交叉注意力）：是一种注意力机制，常用于神经网络模型中，特别是在处理序列数据或图像之间的关联时。在交叉注意力中，模型通过将一个序列或图像中的每个元素与另一个序列或图像中的所有元素进行关联，从而实现不同序列或图像之间的信息传递和交互。两个输入：查询（query）和键值对（key-value pairs）。对于每个查询，模型计算它与键的相关性，并利用这些相关性权重对值进行加权求和，以生成输出。
Self attention（自注意力/内部注意力/自我注意力）：允许模型在处理序列数据时根据序列内部的关联性自动地给不同位置的元素分配权重。输入序列会被映射为三个线性变换：查询（query）、键（key）和值（value）。然后，通过计算查询和键之间的相似度，得到每个查询与所有键的权重分布。最后，利用这些权重对值进行加权求和，以生成输出。

关注