《论文阅读》FGN: Fully Guided Network for Few-Shot Instance Segmentation

最新推荐文章于 2022-10-01 22:18:36 发布
最新推荐文章于 2022-10-01 22:18:36 发布
阅读量1.2k 收藏 2
点赞数 3
分类专栏： 深度学习 计算机视觉 文章标签： 深度学习 人工智能 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43310834/article/details/108967871
版权

留个笔记自用

FGN: Fully Guided Network for Few-Shot Instance Segmentation

做什么

Instance segmentation实例分割
在这里插入图片描述
目标检测（ Object detection）不仅需要提供图像中物体的类别，还需要提供物体的位置（bounding box）。语义分割（ Semantic segmentation）需要预测出输入图像的每一个像素点属于哪一类的标签。实例分割（ instance segmentation）在语义分割的基础上，还需要区分出同一类不同的个体。

做了什么

Few-shot instance segmentation (FSIS)即少样本的实例分割
在这里插入图片描述
相比于现在的对数据集有高要求的复杂的监督学习。这里则采用了少镜头的学习方式，即少有标记样本。并且结构还引用了三种独特设计的attention指导机制

怎么做

首先先要了解一下问题的定义方式
这里定义Cbase是包含了很多个基本类别的集合，同时对于这些类有大量的实例分割的标注图，这些图像（带标签的）集合用Dbase表示。另外存在一组Cnovel表示不同于基类的类。对于这些类同样有标识的数据图集合Dnovel但是是小样本数据。小样本实例分割的目标就是从这个集合中随便抽一个图像Iq对其进行实例分割操作
在这里插入图片描述
接下来是定义一个任务，这里是从Dbase中采样出来的，Si当成支持集，xi当成查询集。学习一个模型f
在这里插入图片描述
它以支持集S作为支持，对查询图像x进行实例分割。然后学到的模型可以理解为初始化的模型就可以应用到目标任务上
接下来就是实际的模型环节
在这里插入图片描述
整个结构分为三个部分，Attention-Guided RPN（AG-RPN）注意力引导的RPN部分，Relation-Guided Detector（RG-DET）关系引导的检测器部分，Attention-Guided FCN（AG-FCN）注意力引导的FCN部分
这里的支持集符号记为S，包含了N个种类的K张标识图，查询图像记为x，都被一个共享的特征提取网络提取出各自的feature map
在这里插入图片描述
在这里插入图片描述
支持集编码的结果记为Fnk，Y则是查询图像的编码结果，维度为H×W×C
第一阶段，AG-RPN通过支持集编码Fnk来生成Y的候选。然后，在第二阶段，对于具有对齐特征图Zj的每个候选，将对齐Fnk被RG-DET用于指导分类head和bbox head，而AG-FCN指导mask head。
这里有一个计算方法称为RoIAlign
ROI Align是在Mask-RCNN这篇论文里提出的一种区域特征聚集方式
在这里插入图片描述
此图由知乎得到👆
接下来详细解释下这分别的三个结构
首先是Attention-Guided RPN（AG-RPN）
在这里插入图片描述
在这里插入图片描述
这里的输入跟上面描述的同样，有支持集的编码Fnk，这里的维度是H×W×C，可以理解为N类（除基类的novel类的数量）中的第k张支持集，和查询图像x的编码Y
在这里插入图片描述
首先先对Fnk做global average pooling，这个操作很简单，这里得到的{a1…an}是维度为C的新的那N类各自的类注意向量。理解上来说就是为了得到各类的关注点
在这里插入图片描述
然后将各类的类注意向量乘上查询图像的feature map得到查询图像在N类上的客观分数
然后是第二部分RG-DET部分
在这里插入图片描述
这里的输入有两个，Zj，对任意RoI对齐的feature map和Fnk</sup>，这里的F<sub>n</sub><sup>k是从支持集中提取出来的
在这里插入图片描述
然后对其进行Average后和Zjconcatenate在一起，然后经过一堆的Conv层和FC层（统称为MLP）得到两条路经，一条称为cls，一条称为Bbox。分别是分类和检测路经
首先是分类路经，将zj和Fn~即和第i类的特征的匹配得分用一个组合(C+,C-)来表示，分别代表了匹配第i类物体和背景的得分
但是为了实现背景矫正，这里导出了一个向量
在这里插入图片描述
原来的组合得分必定会有2N个（一个类2个得分即(C+,C-)），从中将N类的正得分记为C1…CN，将CN+1记为在这里插入图片描述
然后再对这个c做softmax，这里的含义是为了使背景的置信度需要依赖于最佳匹配类的置信度，这样能保证不会发生背景抑制问题，因为这里使用的背景置信度是匹配类置信度最大的那个attention时的背景置信度
然后时另外一个支路bbox层也就是bounding box层。就是很普通的fc和conv了。
之后是第三个部分AG-FCN部分
在这里插入图片描述
这里的输入跟上面结构的输入一模一样，首先先对zj和Fn~做一个mask pooling的操作。这里用到了一个mn~k的二进制的mask，这是由原始的实例分割mask进行RoI后得到的。至于做法与上面的GAP类似
在这里插入图片描述
然后要经过一个selector去选择一个an（从N个bn中选出）。训练时这里选出的b类是GT，测试时选出的时最大的分类得分的那个类
然后
在这里插入图片描述

总结

1.可以理解成在mask-rcnn的基础上加了三个指导机制使它更为强大，更好的利用支持集，但其实就是加了很多小trick的感觉。

未知丶丶
关注
  • 3
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CVPR2020：4D点云语义分割网络（SpSequenceNet）
吴建明wujianming_110117
06-29 1483
CVPR2020：4D点云语义分割网络（SpSequenceNet） SpSequenceNet: Semantic Segmentation Network on 4D Point Clouds 论文地址： https://openaccess.thecvf.com/content_CVPR_2020/papers/Shi_SpSequenceNet_Semantic_Segmentation_Network_on_4D_Point_Clouds_CVPR_2020_paper.pdf 摘要 点云在许多应
点云的无序性_CVPR2020：4D点云语义分割网络（SpSequenceNet）
weixin_39595302的博客
11-21 528
CVPR2020：4D点云语义分割网络（SpSequenceNet）SpSequenceNet: Semantic Segmentation Network on 4D Point Clouds论文地址：https://openaccess.thecvf.com/content_CVPR_2020/papers/Shi_SpSequenceNet_Semantic_Segmentation_Net...
[摘要翻译]3564Incremental Few-Shot Instance Segmentation
weixin_52561704的博客
11-25 246
Abstract：Few-shot instance segmentation methods are promising when labeled training data for novel classes is scarce. However, current approaches do not facilitate flexible addition of novel classes. They also require that examples of each class are provid
DeepLab_V3 Image Semantic Segmentation Network
静静的博客
11-25 589
DeepLab_V3 Image Semantic Segmentation Network Implementation of the Semantic Segmentation DeepLab_V3 CNN as described at Rethinking Atrous Convolution for Semantic Image Segmentation. 语义分割DeepLab_V...
Fast-SCNN: Fast Semantic Segmentation Network
qq_41997237的博客
11-26 712
Abstract: 编解码网络是最先进的语义分割结构。由于自动驾驶的兴起，实时性需求不断提升。本文，提出了 fast segmentation convolutional neural network（Fast-SCNN），高分辨率（1024*2048）的实时分割网络。基于现有的两分支快速分割方法，我们提出 “learning to dowmsample” module 能同时计算多分辨率分支的 low-level 特征。我们的网络结合了低等级和高等级特征，在cityscapes得到68%的miou，123
实例分割论文调研
菜鸟中的菜中菜的博客
11-20 1001
目录综述CVPR18Non-local Neural NetworksPath Aggregation Network for Instance SegmentationCVPR19Mask Scoring R-CNNHybrid Task Cascade for Instance SegmentationPose2Seg: Detection Free Human Instance SegmentationS4Net: Single Stage Salient-Instance SegmentationW
基于视觉的机器人抓取: 论文及代码(Vision-based Robotic Grasping: Papers and Codes)
热门推荐
dsoftware的博客
10-22 2万+
最近总结了基于视觉的机器人抓取的相关论文及代码，同步于github。根据抓取的类别，基于视觉的机器人抓取可以分为两类：2D平面抓取以及6D空间抓取。这个页面总结了近年来涉及到的各种各样的方法，其中大部分都使用了深度学习。总结的中文框架结构如下： 0.综述论文 1. 2D平面抓取 这类方法将抓取，用平面内旋转的矩形框表示； 1.1基于RGB或者RGB-D的方法 采用基于目标检测类的方法，直接得到2D...
CVPR2020|WACV2020 |ICLR2021 小样本学习论文合辑
wangs1996
06-29 3291
CVPR2020|小样本论文合辑 Few-Shot Object Detection With Attention-RPN and Multi-Relation Detector FGN: Fully Guided Network for Few-Shot Instance Segmentation Revisiting Pose-Normalization for Fine-Grained Few-Shot Recognition Adaptive Subspaces for Few-Shot Lear
CVPR 2020 论文大盘点-实例分割篇
我爱计算机视觉
06-21 6308
本文盘点CVPR 2020 所有实例分割（Instance Segmentation）相关论文（语义分割在这里，不含全景分割、医学图像分割、交互式分割等，以上将会另行总结），总计18篇，...
fgn-LH.zip_FGN_fgn-LH_fgn序列生成_matlab 自相似_自相似
09-23
在IT领域，尤其是在信号处理和数据分析中，"fgn-LH.zip_FGN_fgn-LH_fgn序列生成_matlab 自相似_自相似"这个标题暗示了我们正在探讨一种特殊的序列生成方法，即FGN（Fractional Gaussian Noise）序列，以及与之相关的...
语义分割论文：ShuffleSeg: Real-time Semantic Segmentation Network (arxiv2018)
mingo_敏
04-01 1551
ShuffleSeg: ShuffleSeg: Real-time Semantic Segmentation Network (arxiv2018) https://arxiv.org/pdf/1803.03816.pdf TensorFlow: https://github.com/MSiam/TFSegmentation 特点： 基于ShuffleNet (Shufflenet: An e...
4D 语义分割——SpSequenceNet
steven_ysh的博客
10-01 1108
本文是阅读CVPR2020文章《SpSequenceNet: Semantic Segmentation Network on 4D Point Clouds》后所作笔记，论文主要讲述的是一个 4D 语义分割网络，即在平时的 3D 语义分割中引入了时间维度。该网络采用 U-net 的设计架构，并引入了跨帧全局注意力模块 CGA 和跨帧局部插值模块 CLI 来捕获 4D 点云中的时空信息。
深度学习论文: Fast-SCNN: Fast Semantic Segmentation Network及其PyTorch实现
mingo_敏
08-02 2197
深度学习论文: Fast-SCNN: Fast Semantic Segmentation Network及其PyTorch实现 Fast-SCNN: Fast Semantic Segmentation Network PDF:https://arxiv.org/pdf/1902.04502.pdf PyTorch: https://github.com/shanglianlm0525/PyTorch-Networks 1 概述 Fast SCNN 受 two-branch 结构和 encoder-dec
[小样本图像分割]Few-Shot Semantic Segmentation with Prototype Learning
qq_38932073的博客
04-11 3145
Few-Shot Semantic Segmentation with Prototype Learning（BMVC2018） 本文是后面很多小样本图像分割的框架的基础，也就是使用原型进行密集匹配的思想。 论文地址 摘要 语义分割为每个图像像素分配一个类标签。这种密集的预测问题需要大量的手动注释数据，而这些数据往往不可用。Few-Shot学习的目的是学习一个只有几个带标签样本的新类别。在本文中，我们将Few-Shot语义分割问题从one-way(一类)发展到n-way(n类)。受Few-Shot分类的启发
论文阅读笔记-FGN: Fusion Glyph Network for Chinese Named Entity Recognition
m0_53292725的博客
03-21 2695
论文地址：paper:https://arxiv.org/ftp/arxiv/papers/2001/2001.05272.pdf github地址：github:https://github.com/AidenHuen/FGN-NER 主要创新点: 1.提出了一种CGS-CNN的新型CNN结构，以获取字形信息和相邻图形之间的交互信息 2.我们提供了一种具有滑动窗口和注意力机制的方法来融合每个字符的bert表示和字形表示 这种方法可以捕获上下文和字形之间现在的交互知识，在四个误码率数据集上进行的实
【Few-Shot Segmentation论文笔记】CANet, IAAA, 2019
Raymond_Love的博客
01-14 1248
Abstract 本文研究的问题： Few-shot Segmentation 致力于应对标注数据获取困难，且耗时耗力的问题和场景 同类别的个体外观也会有很大差异，如何挖掘这些同一类别对象的共享特征，也是一个难点。 主要工作： 本文提出了CANet（Class-Agnostic Segmentation Network），其主要贡献在于以下几点： 本文提出了一个新颖的Two-branch dense comparison module (DCM)，能够有效的利用来自CNN的...
详细记录Few-Shot Semantic Segmentation的框架笔记
weixin_43673376的博客
07-31 2791
Few-Shot Semantic Segmentation 任务： 以one-shot为例，在support set 中，给定新类（比如狗）的一张图片（或多张图片，比如few-shot，就是多张）以及对应的分割mask（label），这里需要注意，这里的新类（狗）并没有出现在训练任务中。然后在quiery set 给定一张含新类（狗）的图片，需要准确地对这张图片进行分割。这个问题简单说就是：给你一张有mask的图片，比如图片中这是一只狗，然后给你其他新的图片，你还能知道哪个是狗并分割出来，这如何做到的呢？
SequenceNet论文翻译
木凌的博客
11-29 5746
论文地址：SqueezeNet 论文翻译：木凌 时间：201６年11月。 文章连接：http://blog.csdn.net/u0145407171 引言和动机最近对深卷积神经网络（CNN）的研究集中在提高计算机视觉数据集的准确性。 对于给定的精度水平，通常存在实现该精度水平的多个CNN架构。给定等效精度，具有较少参数的CNN架构具有几个优点： 1. 更高效的分布式训练。服务器之间的通信
CVPR 2020-Instance Segmentation
John's Blogs
06-24 1211
目录研究概况任务区别论文列表[1] 2D实例分割（8篇）[2] 3D实例分割（5篇）[3] 标注数据不足（3篇）非监督域适应小样本学习半监督学习[4] 视频实例分割跟踪（1篇）[5] 实例分割应用（1篇） 研究概况 CVPR 2020共有18篇实例分割论文（9篇开源代码）：1篇Oral（Deep Snake），含2D实例分割8篇（一阶段one-shot实例分割有好几篇），3D点云实例分割5篇，解决标注数据不足问题的非监督/半监督/小样本学习的实例分割各1篇，另外IBM研究了实例分割跟踪，还有1篇实例分割在生
Feature Generating Networks for Zero-Shot Learning代码解读
最新发布
07-12
Feature Generating Networks (FGN) for Zero-Shot Learning (ZSL) 是种用于零样本习的模型。在 ZSL 中，模型需要通过学从已知类别到未知类别映射关系，从而能够在未知类别样本情况下进行分类FGN 模型通过两个键组件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值