[论文笔记]Coarse-to-fine Semantic Segmentation from Image-level Labels

最新推荐文章于 2023-11-13 17:45:55 发布
最新推荐文章于 2023-11-13 17:45:55 发布
阅读量1.5k 收藏 7
点赞数 1
分类专栏： 弱监督语义分割 文章标签： 计算机视觉 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36686169/article/details/106294999
版权

DFPN论文笔记:Coarse-to-fine Semantic Segmentation from Image-level Labels

Abstract

为减轻人工标注的压力，本文提出一种仅含图像级标签的迭代的coarse-to-fine(由粗到细)的语义分割框架

  1. 首先通过CNN生成initial coarse mask
  2. 然后利用图模型对其进行增强，把增强后的coarse mask输入到一个全卷积网络中迭代优化

该框架不像之前的方法一样需要把图像中所有的类标签标记出来，而只需要一个标签，就可以完成图像中多类别的目标分割

Introduction

  1. 为降低像素级标注的压力，利用目标级的标注如边界框、简笔标注和点标注或者图像级的标注来训练语义分割网络
  2. 本文提出一种只利用图像级标签训练网络的语义分割框架，训练采用ImageNet数据集，而且ImageNet数据集中尽管图像中含多个目标，但往往图像类标签只有一个
  3. 框架流程
    (1) 利用学生网络生成coarse mask
    (2) 由于这些coarse masks十分粗糙并且其位置与目标位置不一致，因此利用图模型进行优化
    (3) 利用优化的mask、输入图像和类别标签去迭代训练全卷积分割网络
    对输入图像的预测分割mask优化优化过程示意图

Contribution

  • 提出一种新的仅依赖于图像级标签的语义分割框架
  • 利用无监督前景分割方法生成coarse mask并通过图模型进行优化，将优化后的mask以迭代方式训练分割网络
  • 提出的方法能够在训练图像仅含单类别标签的设定下完成图像多目标分割问题
  • 所提出的方法可以很容易扩展到图像前景目标分割的无监督任务中并取得较好的效果

Related Work

近年来，许多语义分割方法被相继提出，按照所使用的标注的水平，这些方法大致可分为3类：

  • 基于全监督的像素级标注的方法
  • 基于弱监督的目标级标注的方法(bounding boxes,spots,scribbles)
  • 基于弱监督的图像级标注的方法：对抗训练、通过网络抓取的视频信息、利用生成对抗网络、利用损失函数、扩张卷积等

当前通用的前景目标分割方法大致可分为3种：以先验知识为监督的联合分割方法、显著性预测方法和基于对象建议的方法

Proposed Approach

方法概述

框架示意图如下，主要包含三部分：生成coarse mask，coarse mask增强和mask迭代优化。

  • 训练一个8层的CNN生成initial coarse mask
  • 应用一个图模型基于目标先验提高initial coarse mask的质量
  • 迭代训练一个全卷积网络用于语义分割
    框架示意图

生成coarse mask

  1. 目的：生成没有类别标签的coarse mask
  2. 常用方法：VideoPCA、NLC、无监督前景分割方法及无监督目标分割方法等
  3. 本文采用的方法：基于文献[20]的学生网络来生成coarse mask。学生网络是一个在大规模视频帧上训练的8层CNN，比之前的其他测试方法快两个数量级，是一种无监督目标分割方法
    局限性：生成的coarse mask十分粗糙而且不精确
    解决方案：利用图模型对coarse mask进行优化

coarse mask增强

利用GrabCut对initial coarse mask进行优化

  • GrabCut是一种有效的基于graph cuts的交互式前景/背景分割方法，采用高斯混合模型来估计前景和背景的颜色分布。然后使用这些分布在像素标签（即前景或背景）上构造马尔可夫随机场。本文基于graph cut对coarse mask进行优化，以最小化能量函数，使得连通区域具有相同标签。重复两步过程直到收敛，得到增强的coarse mask。增强效果如图2所示
    图模型优化效果示意图

mask迭代优化

  1. 方案
    这里本文提出了一种递归语义分割网络，将图像类别标签和增强的coarse mask作为初始语义标签进行训练，得到像素级的语义分割模板。该网络在ImageNet数据集的子集上训练。
  2. 依据
    由于ImageNet数据集是为解决图像分类问题而设计的，而主对象通常占据图像中很大的空间，因此增强的粗糙掩模可以覆盖主对象的大部分。基于以上假设，每个图像的类标签被分配给属于前景对象的所有像素，其余像素被设置为背景，由此得到的增强mask作为下一次训练的输入进行迭代。过程示意如图3所示
    迭代优化示意图
  3. 细节
    本文选择DeepLab作为语义分割网络。Deeplab利用空洞卷积扩大神经元的感受野，利用空洞空间金字塔池化（ASPP）从多个尺度观察目标，以及通过全连接CRF提高对目标边界的定位性能，是当前语义分割基准的最新水平。

Experiments

  • 训练数据集：从ImageNet选取20个类别的图像子集，这些类别与VOC2012数据集中类别相同并且不包含背景类
  • 验证数据集：PASCAL VOC2012数据集
  • 实验效果：
    预测分割优化过程示意图
  • mIoU：PASCAL VOC2012数据集 test 62.8
动如脱兔((≡ຶ̑ꀬ≡ຶ̑))静如脱兔
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
论文笔记：Coarse-to-Fine Semantic Segmentation From Image-Level Labels
qq_41105449的博客
06-16 1193
本文的框架只需要每个图像一个标签，就可以处理包含多类别对象的图像。 只在ImageNet上训练，此框架在PASCAL，VOC数据集上与其他基于图像级别标签的最先进的语义分割方法实现类似的性能。 此外，本框架可以很容易地扩展到前景对象分割任务，并在Internet对象数据集上与最先进的监督方法取得了相当的性能。
Coarse-to-Fine Lung Segmentation in Computed Tomography Images
02-21
Coarse-to-Fine Lung Segmentation in Computed Tomography Images
Coarse-to-fine Airway Segmentation Using Multi information Fusion Network and CNN-based Region Growi
weixin_44296846的博客
07-06 116
*背景和目的：**胸腔计算机断层扫描的自动气道分割在肺部疾病诊断和计算机辅助治疗中发挥着重要作用。然而，外周分支和复杂树状结构的低对比度仍然是气道分割的两个主要挑战。最近的研究表明，深度学习方法在分割任务中表现良好。受这些工作的启发，我们提出了一个从粗到细的分割框架来获得一个完成的气道树。**方法：**我们的框架通过多信息融合卷积神经网络（Mif-CNN）和基于CNN的区域分别分割整体和小分支。在Mif-CNN中，将ASPP集成到U形网络中，可以扩大感受野并捕获多尺度信息。
coarse-to-fine(1) CF-DRNet
momoka9的博客
04-20 1788
1、Coarse-to-fine classification for diabetic retinopathy grading using convolutional neural network 使用卷积神经网络对糖尿病视网膜病变分级进行从粗到细的分类。 Artificial Intelligence in Medicine Volume 108, August 2020, 101936 亮点 首次提出了一个分层的从粗到细的糖尿病视网膜病变（DR）网络（CF-DRNet），该网络可以利用卷积神
【计算机视觉 | 图像分割】arxiv 计算机视觉关于图像分割的学术速递（9 月 1 日论文合集）
wzk4869的博客
09-08 533
【计算机视觉 | 图像分割】arxiv 计算机视觉关于图像分割的学术速递（9 月 1 日论文合集）
论文阅读：Segmentation Transformer: Object-Contextual Representations for Semantic Segmentation
a486259的博客
08-16 1360
论文地址：https://arxiv.org/pdf/1909.11065.pdf发布年份：2021本文研究了语义分割中的上下文聚合问题。由于一个像素的标签是该像素所属的对象的类别，我们提出了一种简单而有效的方法，即对象-上下文表示（ object-contextual representations，OCR），通过利用相应的对象类的表示来描述一个像素。首先，我们在地面真实分割的监督下学习目标区域。其次，我们通过聚合位于对象区域中的像素的表示来计算对象区域表示。...
【论文笔记】Coarse-to-Fine Semantic Segmentation From Image-Level Labels
Maple__Boy
03-02 1699
1、摘要 基于深度卷积神经网络的语义分割通常需要很大成本的注释来进行训练，以此来活得很好的性能。 在这篇文章中，研究人员使用对象级标签或者图像级标签进行标注。 文中提出了一种新的递归由粗到细的语义分割框架，该框架仅基于图像级别的类别标签。首先由基于卷积神经网络的无监督前景分割模型生成初始掩码，然后由图模型进行增强。 增强粗掩码被馈送到一个全卷积神经网络中，递归的进行细化。 现有的基于图像级别标签的语义分割需要对图像中的每个类别进行标注，但是我们的框架只需要对一副图像进行标签一个，并且可以处理包含多个类别的图
Coarse-to-fine-matching
05-30
这段代码是下面论文中提供的算法的实现： Yang, Yanchao, Zhaojin Lu, 和 Ganesh Sundaramoorthi。 “从粗到细的区域选择和匹配”。 IEEE 计算机视觉和模式识别会议论文集。 2015 年。用法注意：此代码仅在 Visual ...
Similar Spatial Trajectory Retrieval in a large Scale A Coarse-to-Fine Method using Map Reduce
02-11
### 相似空间轨迹检索在大规模数据中的粗细方法运用MapReduce技术 #### 摘要与背景 本文探讨了一种高效检索相似空间轨迹的方法，该方法特别适用于处理大规模的空间轨迹数据库。随着卫星、传感器、射频识别（RFID）...
论文研究-License Plate Recognition System Using a Coarse-to-fine Strategy.pdf
08-16
运用由粗至精策略的车牌识别系统，李昂，刘亮，本文综合运用图像处理、人工智能和机器视觉等领域的技术，解决了相关数学原理和算法，设计并实现了车牌识别系统。该系统的显著性
Coarse to Fine Vertebrae Localization and Segmentation论文笔记
weixin_42808994的博客
03-10 1363
Coarse to Fine Vertebrae Localization and Segmentation with SpatialConfiguration-Net and U-Net 论文研读笔记 文章目录Coarse to Fine Vertebrae Localization and Segmentation with SpatialConfiguration-Net and U-Net 论文研读笔记前言一、Abstract二、Method2.1 Spine Localization2.读入数据总
【coarse-to-fine ：无监督】
weixin_43690932的博客
12-13 1792
仅供自己参考
Coarse-To-Fine Segmentation of Organs at Risk in Nasopharyngeal Carcinoma Radiotherapy
qq_41502889的博客
08-03 604
Coarse-To-Fine Segmentation of Organs at Risk in Nasopharyngeal Carcinoma Radiotherapy论文解读
【coarse-to-fine：基于频谱和空间损失约束】
weixin_43690932的博客
12-16 1400
仅供自己参考
CVPR2022《Cascade Transformers for End-to-End Person Search》
weixin_43994864的博客
03-22 4089
论文链接：https://arxiv.org/pdf/2203.09642.pdf 代码链接：https://github.com/Kitware/COAT 1. 挑战 已有的工作面临着三个主要挑战： 在特征学习方面，人脸检测和ReID之间存在着冲突。人检测的目的是学习在人群中泛化的特征，以将人与背景区分开，而ReID的目的是学习在人群中不泛化但能将人彼此区分开来的特征。 显著的尺度或姿态变化增加了身份识别的难度。简单的特征融合策略可能会在特征嵌入中引入额外的背景噪声，导致ReID性能较差 背景目标或.
【Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction】阅读笔记
yeen123的博客
06-05 475
尽管高速视频和高光谱图像的令人兴奋的结果已经被证明，但是重建质量差阻碍了SCI的广泛应用。在所有SCI技术中，CASSI是目前最热门的方向。本文的任务是：从CASSI压缩的2D图像中更好的恢复出原始的3D HSI图像............
Class-wise Dynamic Graph Convolution for Semantic Segmentation（ECCV 2020）详解
Lil Wing
03-07 1848
论文地址：https://arxiv.org/pdf/2007.09690.pdf 一、背景        近年来语义分割出现了很多利用上下文信息，也就是context information的一个方法，最具代表性的主要包括几种，作者总结的第一种是利用空洞卷积的ASPP模块的deeplab系列，第二种是利用金字塔池化的PSPNet，还有就是自注意力机制，代表工作包括DANet，CCNet，OCNet等等。 二、动机  &nb
EfficientLO论文阅读
最新发布
m0_63629923的博客
11-13 100
研0，前段时间开组会老师提到可以写blog记录自己的所想，所以刚开始尝试写blog，希望自己日后能坚持。
详细解读：Image-to-Markup Generation with Coarse-to-Fine Attention中的Row Encoder
04-03
在Image-to-Markup Generation with Coarse-to-Fine Attention这篇论文中，Row Encoder是指文本序列编码器的一部分，它的作用是将标注文本序列中的单词按照行的结构进行编码。具体来说，Row Encoder接收标注文本序列...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值