【小样本图像分割-1】PANet: Few-Shot Image Semantic Segmentation with Prototype Alignment

最新推荐文章于 2024-10-01 15:23:47 发布
最新推荐文章于 2024-10-01 15:23:47 发布
阅读量1.8k 收藏 27
点赞数 36
分类专栏： 小样本图像分割 文章标签： 原型模式 计算机视觉 小样本
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ECHOSON/article/details/141176867
版权


最近看SAM分割模型中多次提到了小样本图像的分割，为了能够搞清楚整个研究的思路，现在将小样本图像分割的论文内容做个笔记，用于备用。本次阅读的论文来自ICCV2019的一篇文章，用的是比较传统

文章的地址：论文地址

代码的地址：开源代码

摘要

尽管深度cnn在图像语义分割方面取得了很大的进步，但它们通常需要大量密集标注的图像进行训练，并且难以推广到看不见的对象类别。因此，开发了少量镜头分割，以学习仅从几个注释示例中执行分割。本文从度量学习的角度解决了具有挑战性的少镜头分割问题，并提出了一种新的原型对准网络PANet，以更好地利用支持集的信息。我们的PANet从嵌入空间内的一些支持图像中学习特定于类的原型表示，然后通过将每个像素与学习到的原型进行匹配，对查询图像进行分割。通过非参数度量学习，PANet提供了高质量的原型，这些原型对每个语义类都具有代表性，同时对不同的类具有区别性。此外，PANet还引入了支持和查询之间的原型对齐正则化。这样，PANet充分利用了来自支持的知识，并在少镜头分割上提供了更好的泛化。值得注意的是，我们的模型在P

最低0.47元/天 解锁文章
【语义分割】PANet Few-Shot Image Semantic Segmentation with Prototype Alignment 论文理解
给时光以生命
03-01 3827
PANet
【小样本图像分割-2】UniverSeg: Universal Medical Image Segmentation
dejahu的博客
08-15 1255
虽然深度学习模型已经成为医学图像分割的主要方法，但它们通常无法推广到涉及新解剖结构、图像模式或标签的未知分割任务。对于新的分割任务，研究人员通常必须训练或微调模型，这既耗时又给临床研究人员带来了巨大的障碍，因为他们往往缺乏训练神经网络的资源和专业知识。我们提出了UniverSeg，一种无需额外训练即可解决看不见的医学分割任务的方法。给定一个查询图像和图像标签对的示例集来定义一个新的分割任务，UniverSeg采用一种新的CrossBlock机制来生成准确的分割映射，而不需要额外的训练。
[小样本图像分割]SCNet: Enhancing Few-Shot Semantic Segmentation by Self-Contrastive Background Prototypes
qq_38932073的博客
04-20 1557
SCNet:通过自我对比的背景原型增强Few-Shot语义分割 论文地址 摘要 大多数先进小样本分割都利用了度量学习框架，该框架通过将每个像素与学习到的前景原型进行匹配来进行分割。然而，只使用前景原型会导致分类偏倚。为了解决这一问题，本文在Few-Shot语义分割中引入了一种互补的自对比任务。我们的新模型能够关联每一个区域上的原型，无论这个区域是属于前景还是背景。为此，我们直接从查询图像中生成自我对比的背景原型，利用该原型构建完整的样本对，从而实现互补和辅助的分割任务，以实现更好的分割模型的训练。 存在的问
[小样本图像分割]PANet: Few-Shot Image Semantic Segmentation with Prototype Alignment
qq_38932073的博客
03-26 6148
PANet:基于原型对齐的Few Shot图像语义分割（ICCV19） 摘要 本文从度量学习的角度来解决Few Shot Segmentation问题，提出一种新的原型对齐网络来更好地利用支持集信息。PANet从嵌入空间内的一些支持图像中学习特定类的原型表示，然后通过将每个像素与学习到的原型进行匹配，对查询图像进行分割。 通过非参数度量学习，PANet提供了代表每个语义类的高质量原型，这些原型同时还存在对不同类的判别信息。此外，PANet还引入了一种支持和查询之间的原型对齐正则化。在此基础上，PANet充分
论文阅读笔记《PANet: Few-Shot Image Semantic Segmentation with Prototype Alignment》
深视
06-16 3372
核心思想   本文提出一种基于原型网络的小样本语义分割算法(PANet)。该算法沿用了原型网络（Prototypical Network）中距离度量的思想，首先利用特征提取网络提取支持集和查询集图像的特征图，然后利用二元的分割图像对支持集图像做掩码操作，并计算得到每个类别对应的原型向量。接着计算查询集特征图中的每个像素与原型向量之间的距离，并利用softmax函数转化为概率。最后选择概率值最大的作为该像素点对应的类别。整个网络的结构如下图所示   首先，支持集图像和查询集图像分别经过两个共享权重的特征提取
[小样本图像分割]CONDITIONAL NETWORKS FOR FEW-SHOT SEMANTIC SEGMENTATION
qq_38932073的博客
04-12 1116
用于Few-Shot语义分割的条件网络（ICLR2018 WorkShop） 本文作为一个WorkShop，主要是阐述了小样本分割对于稀疏标签的鲁棒性，说明使用稀疏标签来指导小样本分割也是可行的。 论文地址 摘要 该网络通过对一个标注的图像支持集进行特征融合来对一个未标注的查询图像进行推理。一旦学会了，我们的条件方法就不需要进一步优化新的数据。注释在一次向前传递中是有条件的，使我们的方法适合交互式使用。我们通过密集和稀疏标注来评估我们的co-FCN，即使只给出一个正像素和一个负像素，也能达到具有竞争力的精度
【小样本分割 2020 ICCV】PANet
wujing1_1的博客
04-24 982
本文从度量学习的角度来解决小样本分割问题，提出一种新的原型对齐网络来更好地利用支持集信息。PANet从嵌入空间内的一些支持图像中学习特定类的原型表示，然后通过将每个像素与学习到的原型进行匹配，对查询图像进行分割。通过非参数度量学习，PANet提供了代表每个语义类的高质量原型，这些原型同时还存在对不同类的判别信息。此外，PANet还引入了一种支持和查询之间的原型对齐正则化。在此基础上，PANet充分利用了来自支持的知识，在少镜头分割中提供了更好的泛化。目前存在的问题和方案。
Few-shot Segmentation 论文阅读总结
菜超搬砖日记
12-14 9234
目录 One-shot/Few-shot segmentation一般任务设置 paper 1：One-Shot Learning for SemanticSegmentation BMVC 2017 paper 2 :CONDITIONAL NETWORKSFOR FEW-SHOT SEMANTIC SEGMENTATION...
Image Segmentation Using Deep Learning: A Survery
Fantastic
09-23 3973
图像分割综述–论文翻译 论文地址：https://arxiv.org/pdf/2001.05566.pdf 摘要 图像分割是图像处理以及计算机视频的关键内容，其应用场景非常广泛，如场景理解、医学图像分析、机器人感知、视频监控、增强显示和图像压缩等。目前关于图像分割的算法论文数量非常多。最近，由于深度学习模型在计算机视频任务中的出色表现，大量的图像分割研究工作都在开发深度学习模型在图像分割中的应用。在本次调查综述中，我们提供全面的图像分割的文献综述，涵盖了语义分割和实例分割的广泛开创性工作，其中包括全卷机像素
[小样本分割] Few Shot Medical Image Segmentation with Cross Attention Transformer
weixin_44832243的博客
05-16 3804
在深度学习医学图像分割领域，训练一个性能强，可以大规模部署落地的模型，往往需要大量手动标注的数据进行监督训练，其中花费的成本是非常高的。为了解决这一挑战，少样本学习（few-shot）技术有潜力从有限的几个sample中学习新类别的能力。本文提出了一种基于交叉掩码注意力的少样本医学图像分割新框架CAT-Net：通过挖掘support和query图像之间的相关性，并限制模型仅关注有用的前景信息，来提高support和query特征的表达能力。同时，本文还进一步设计了一个迭代细化训练框架来优化查询。
Few-Shot-Semantic-Segmentation-Papers:少量镜头语义分割论文
04-09
少量镜头语义分割论文 注意：如果您的论文不在清单中，请随意或给我。 2021年 标题 会场 PDF格式 代码 少量分割的自适应原型学习和分配 心肺复苏术 自我指导和交叉指导学习，用于少量分割 心肺复苏术 没有元学习的少量分割：您只需要一个好的转换推论？ 心肺复苏术 关于少量CNN分割的纹理偏差 WACV 用于少量分割的深高斯过程 arXiv -- 2020年 标题 会场 PDF格式 代码 用于少量语义分割的动态扩展网 毫米 代码 用于医学图像分割的半监督数次学习 arXiv PDF格式 代码 没有元学习的少量分割：您只需要一个好的转换推论？ arXiv PDF格式 代码 用于图像分割的元学习初始化 NeurIPS-W PDF格式 代码 BriNet：在一击式细分中弥合类内和类间的差距 arXiv PDF格式 代码 具有超像素的自我监督：无需注释即可训练很少的医学图像分割 EC
[小样本图像分割]Mining Latent Classes for Few-shot Segmentation
qq_38932073的博客
04-06 2636
挖掘潜在类以实现Few-Shot分割 论文地址 这篇文章读起来有点抽象，还是以原文为主。 摘要 Few-Shot分割（FSS）的目的是在只给出少量标注样本的情况下分割未见类。现有的方法存在特征破坏的问题，即在训练阶段将潜在的新类作为背景。我们的方法旨在缓解这一问题，并增强潜在新类的特征嵌入。我们提出了一种新的联合训练框架，在传统的支持查询对的训练过程基础上，我们引入了一个额外的挖掘分支，通过可转移的子簇（transferable sub-clusters）来挖掘潜在的新类，并在背景和前景类别上引入了一种新的
小样本图像语义分割综述
m0_46378271的博客
04-12 6860
这些小样本分割方法都是利用基于度量的元学习思想，根据其度量工具是否有需要学习的参数，本文将这些小样本分割方法分为两种类型：基于参数结构的小样本分割模型和基于原型结构的小样本分割模型。 基于参数结构\color{red}{基于参数结构}基于参数结构的小样本分割算法利用或设计许多卷积结构来提高感受野或捕捉上下文信息和空间信息，在语义信息量大的数据集上的性能优于基于原型结构的方法。但是过多的卷积结构使模型容易出现过拟合的现象。 基于原型结构\color{red}{基于原型结构}基于原型结构的小样本分割算法利用无参
【小样本图像分割-4】nnU-Net: Self-adapting Framework for U-Net-Based Medical Image Segmentation
dejahu的博客
08-21 1086
nnU-Net 中的nn分别表示no和new，这个网络不能算作是小样本的医学图像分割方法，但是可以作为一种自适应的医学图像分割方法。该方法能够根据数据集的内容自动的修改模型的超参数，让你的unet模型更加适配你的数据集，从而可以得到一个比较sota的模型。这里作者实践出真知，在比赛中提供了10个数据集上都拿到了不错的成绩，并且这个模型中使用的一些tricks在后续的比赛中都可以借鉴。U-Net于2015年推出。凭借其简单而成功的架构，它迅速发展成为医学图像分割中常用的基准。
[小样本图像分割]Adaptive Prototype Learning and Allocation for Few-Shot Segmentation
qq_38932073的博客
04-09 3227
自适应原型学习和分配的Few-Shot分割（CVPR2021） 论文地址 开源代码 摘要 Few-Shot分割大多使用原型学习的思想，通常通过对全局对象信息的平均来从支持特征中获得单个原型。然而，使用单个原型来表示所有的信息可能会导致歧义。本文提出了超像素引导聚类(SGC)和引导原型分配(GPA)两个模块，用于多原型的提取和分配。具体来说，SGC是一种无参数、无训练的方法，它通过聚集相似的特征向量来提取更有代表性的原型，而GPA能够选择匹配的原型，提供更准确的指导。通过整合SGC和GPA，我们提出了自适应超
基于少样本（小样本）的图像分割
最新发布
zy的博客
10-01 3132
在少样本学习（尤其是少样本分割）中，和分别承担不同的任务，目的是通过少量标注的样本来实现对新图像的分割。总的来说，负责从少量标注样本中学习类原型，而则利用这些类原型对新的查询图像进行分割。两者的协作使得模型能够在少样本的情况下有效泛化。具体是怎么匹配的？在少样本学习的图像分割任务中，和的匹配过程主要基于（metric learning）思想。
[小样本图像分割]Prior Guided Feature Enrichment Network for Few-Shot Segmentation
qq_38932073的博客
03-20 4694
用于图像分割的先验引导特征增强网络（PFENet） 论文地址 Github开源代码 目前存在的问题： 现有的Few-Shot Segmentation方法普遍存在的问题包括高级特征的误用导致的泛化损失以及查询样本和支持样本之间的空间不一致。 本文贡献： (1)一种无需训练的先验掩模生成方法，不仅保留了模型的泛化能力，而且提高了模型的性能。 (2)特征增强模块，一种使用支持特征（support feature）和先验掩码（prior mask）来自适应增强查询特征（query feature）以克服空间不连续
[小样本图像分割]Few-Shot Semantic Segmentation with Prototype Learning
qq_38932073的博客
04-11 3621
Few-Shot Semantic Segmentation with Prototype Learning（BMVC2018） 本文是后面很多小样本图像分割的框架的基础，也就是使用原型进行密集匹配的思想。 论文地址 摘要 语义分割为每个图像像素分配一个类标签。这种密集的预测问题需要大量的手动注释数据，而这些数据往往不可用。Few-Shot学习的目的是学习一个只有几个带标签样本的新类别。在本文中，我们将Few-Shot语义分割问题从one-way(一类)发展到n-way(n类)。受Few-Shot分类的启发
[小样本图像分割]One-Shot Learning for Semantic Segmentation（OSLSM）
qq_38932073的博客
03-21 3248
用于图像分割的单样本学习（OSLSM） 本文算是小样本学习的经典之作，虽然以现在的角度来看比较粗糙，但仍然值得学习！ 论文地址 开源代码 概述 本文从few shot学习中得到启发，提出了一种新的双分支的一次性语义图像分割方法。第一个分支将标记的图像作为输入，并生成参数向量作为输出。第二个分支接受这些参数和一个新图像作为输入，并为新类生成图像的分割掩码作为输出。 本文贡献： 1）提出了一种新的单样本分割技术，该技术在快速分割的同时优于基线；2）该技术可以在不为新类添加弱标签的情况下做到这一点；3）即使只有
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

肆十二

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值