[论文笔记]Seed,Expend and Constrain

最新推荐文章于 2024-05-27 09:54:45 发布
最新推荐文章于 2024-05-27 09:54:45 发布
阅读量340 收藏 2
点赞数 1
分类专栏： 弱监督语义分割 文章标签： 计算机视觉 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36686169/article/details/106158928
版权

SEC论文笔记

Abstract

  1. 基于三个指导原则提出新的损失函数
    (1) 将较弱的定位线索作为种子
    (2) 基于图像中的类别信息扩展目标区域
    (3) 根据目标轮廓限制分割预测的边界
  2. 通过对比试验进一步指出所提损失函数对分割性能的影响以及今后工作的一些切入点

Introduction

文章按如下3个切入点来设计混合的损失函数：

  1. 分类网络如VGG、AlexNet可生成相对可靠的区域定位的线索cues，即种子，但不能生成精确的空间信息。文章利用seeding loss结合上述信息使得分割网络匹配到一定的定位线索
  2. 可以使用全局池化层将分割mask聚合到图像级别的标签得分中。这一层的选择对分割的质量有很大的影响。例如，最大池化倾向于低估对象的大小，而平均池化倾向于高估对象的大小。文章提出一种全局加权池化(Global Weighted Rank Pooling,GWRP)方法将种子区域扩展到合理的范围，该方法对最大池化和均值池化进行了综合，取得了较好的效果
  3. 在测试时使用全连接条件随机场(FC-CRF)进行后处理通常不足以提取物体的边界，因为一旦网络经过训练，它们甚至对错误分类的区域也会有置信度。文章提出一种新的边界约束损失函数，尽量在训练期间保持一些低级图像信息，尤其是目标的边界

Related Work

方法概述

利用图像级标签学习分割模型是个较大的挑战，已有的方法大致可分为3类。

  1. 利用图模型根据图像间或图像内部的相似性去推断片段或者超像素的标签
  2. 将其归结为多示例学习问题，利用图像级的损失函数训练模型，同时保持图像内部的空间表示
  3. (利用传统的自训练方法)训练一个全监督模型，同时模型本身通过一个类似EM(期望最大值算法)的过程来获得必要的像素级标注
    文献采用的方法结合了后两种，因为同时采用了图像级和像素级的损失函数

比较

若想获得较高的分割性能，目前只能采取基于深层卷积网络的方法。文献在后文中将与以下文献进行对比

  1. MIL-FCN、MIL-ILP基于深度网络，采用多示例学习方法，主要在池化策略上有所不同，即它们如何将内部空间表示转换为每个图像的标签
  2. EM-Adapt和CCNN依赖于自训练框架，并且在如何保持每个图像标签与预测分割mask的一致性上有所区别
  3. SN_B添加了附加步骤，用于创建并结合多个对象建议

Proposed Method

所提框架的大致流程示意图
上图是我从一篇博客中保存的，欢迎博主来认领，我把出处链接加到文中，顺便可否告知一下图片出处？我找了好久都没找到…
框架损失函数设计方案

损失函数

  1. Lseed：为模型提供一定的定位提示
    (1) 依据：已有很多文献提到，深度分类网络尽管只通过图像级标签的数据进行训练，仍可被成功应用于寻找目标定位的线索
    (2) 策略：使用基于梯度的显著性检测方法，使用seeding loss促使神经网络仅匹配“地标性”的区域，忽略其他位置
    种子生成过程示意图
  2. Lexpand：当模型分割预测中存在太小或者分割错误的区域实施一定的惩罚，以确保目标区域的精确性
    (1) 目的：为确保分割mask和图像分类标签的一致性，可以通过损失函数将分割得分汇总到分类得分中
    (2) 依据：对于存在于图像中的类，全局最大池化(Global Max Pooling,GMP)仅使得单个位置的响应高，而全局平均池化(Global Average Pooling,GAP)促使所有位置的响应都很高
    (3) 策略：提出一种全局加权池化GWRP方法，将GMP和GAP进行综合。GWRP针对每个类别计算加权平均分数，赋予得分高的位置高权重，可有效缓解GMP和GAP矛盾的存在
  3. Lconstrain：使分割预测充分考虑到图像的空间和颜色信息
    (1) 思想：惩罚神经网络产生对输入图像的空间和颜色信息不连续的分割，从而鼓励神经网络学习产生的分割mask与目标边界相匹配
    (2) 策略：借助条件随机场(Conditional Random Field,CRF)利用颜色、纹理等信息提取目标边界的特性，利用全连接的条件随机场(Fully-Connected CRF,FC-CRF)作为损失函数对目标边界进行优化

训练

  • 端到端训练

Experiments

  1. PASCAL VOC 2012数据集用于验证
  2. FC-CRF用作损失函数
  3. failure cases
    (1) 几乎总是共同出现的目标和背景(co-occurence)，如水上的船只，轨道上的火车
    (2) 一些目标区域可以被正确分割，但被分配了错误的类别
    (3) 一些分割预测结果只能涵盖目标的一部分，不能分割出完整的目标，比如the face of a person
  4. 细节讨论
    较大的感受野(Field of View,FOV)可使网络模型的分类精度更高，但是会对目标分割产生不利影响；而较小的感受野往往在分类性能上有所减弱
  5. Insights
    (1) 有关目标的大小的知识
    (2) 较强的监督先验知识，比如形状或者材料
16-Seed_expand_and_constrain Three_principles_for_weakly-supervised_image_segmentation
u010067397的专栏
12-22 451
概括 Seeding Loss——对目标进行弱定位（weak localization）生成初始mask Expansion Loss——对弱定位的mask进行合理的扩大 Constrain-to-boundary Loss——对扩大后的mask进行合理的约束，更贴近目标边界 因此将该方法命名为SEC（Seed + Expand + Constrain） 创新 图像分类神经网络，例如Alex...
Seed, Expand and Constrain: Three Principles for Weakly-Supervised Image Segmentation（2016 ECCV）
THE XING
10-18 1831
1.Seed, Expand and Constrain: Three Principles for Weakly-Supervised Image Segmentation（2016 ECCV） Seed: to seed with weak localization cues. Expand: to expand objects based on the information abo...
【eccv2016-论文笔记】《Seed, Expand and Constrain: ... Weakly-Supervised Image Segmentation》
m0_62581245的博客
07-19 1302
弱监督语义分割领域经典架构SEC——弱监督应用到语义分割领域使用现有的分类或目标检测模型（拥有分类或检测的标注文件）实现语义分割任务，目的为节省昂贵的pixel-level像素级的标注成本。大多将弱监督应用到语义分割的流程为利用现有的分类或检测的标注文件通过某种算法（如CAM）得到粗粒度即不精确的分割标注文件，也叫pseudo-label伪标签，直接使用伪标签训练分割网络，最后再通过某种算法（如CRF）对结果进行优化。也就是说大多的弱监督研究重点在于如何更好的生成伪标签，即更好的训练生成网络。.......
Seed, Expand and Constrain: Three Principles for Weakly-Supervised Image Segmentation 论文笔记
Reborn的博客
06-10 3393
论文：https://arxiv.org/abs/1603.06098一、背景介绍弱监督的图像分割（Weakly-Supervised Image Segmentation）：    只有对于图像的类别标注，而没有对于图像中目标具体位置和目标类别的标注对于弱监督的图像分割提出一种新的损失函数，主要基于以下三点：Seeding Loss——对目标进行弱定位（weak localization）生成初...
第三章：Seed,Expand and Constrain:——种子、扩展和约束：弱监督图像分割的三个原则
ADICDFHL的博客
07-26 576
我们提出了一种新的损失函数，用于在仅有图像级标签的情况下训练深度分割网络。我们证明，在相同的实验条件下，我们的方法在性能上明显优于先前的最先进方法，并提供了详细的消融研究。我们还确定了一些潜在的方向，可以进一步改善弱监督分割性能。我们的实验表明，对目标大小的了解可以显著提高分割性能。SEC通过衰减参数很容易地整合了大小信息，但自动估计目标大小的方法将是可取的。改进性能的第二种方式是更强的分割先验，例如关于形状或材料的先验信息。
推荐：Seed, Expand, Constrain - 弱监督图像分割的三大原则
最新发布
gitblog_00079的博客
05-27 311
推荐：Seed, Expand, Constrain - 弱监督图像分割的三大原则 SEC 项目地址: https://gitcode.com/gh_mirrors/sec/SEC 在计算机视觉领域，种子...
ist的matlab代码-SEC:种子，扩展，约束：弱监督图像分割的三个原理
05-26
ist的matlab代码种子，扩展，约束：弱监督图像分割的三个原理 由IST Austria的Alexander Kolesnikov和Christoph Lampert创建。 介绍 我们提出了一种用于训练卷积神经网络的新的复合损失函数，用于弱监督图像分割的任务。 我们的方法依赖于以下三个见解： 图像分类神经网络可用于生成可靠的对象定位提示（种子），但无法预测对象的确切空间范围。 我们通过使用种子损失来引入这一方面，该种子损失鼓励分割网络匹配本地化提示，但与图像的其余部分无关。 要从每个图像注释中训练分割网络，可以使用全局池层，该池将分割蒙版聚合为图像级标签分数。 该层的选择对分段的质量有很大的影响。 例如，最大池化往往会低估对象的大小，而平均池化往往会高估它。 我们提出了一种全局加权秩合并，该扩展由扩展损失来利用，以将对象种子扩展到合理大小的区域。 它概括了最大池化和平均池化，并且在我们的经验研究中胜过它们。 由图像级标签训练的网络很少会捕获图像中对象的精确边界。 在测试时通过完全连接的条件随机字段（CRF）进行后处理通常不足以克服这一问题，因为一旦对网络进行了训练，它们甚至会对错误
二代测序的比对算法
小猪打呼噜
10-11 1450
现在主流的比对软件不下十种，但按照核心算法区分，其实可以拆分成为两大阵营： 1.基于哈希表（hash-table）数据结构的比对算法 2.Burrows Wheeler transform（BWT）索引数据结构的比对算法 首先，我们来了解一下第一类比对算法 hash-table的核心思想就是采用种子序列定位及延伸算法（seed-and-extend algorithm） 根据索引构建对象的不同，可以分为两类，第一种，基于参考基因组（reference genome）索引的的延伸比对 通过
Boundary Loss 原理与代码解析
热门推荐
00000cj的博客
11-06 1万+
在医学图像分割中任务中通常存在严重的类别不平衡问题，目标前景区域的大小常常比背景区域小几个数量级，比如下图中前景区域比背景区域小500倍以上。分割通常采用的交叉熵损失函数，在高度不平衡的问题上存在着众所周知的缺点即它假设所有样本和类别的重要性相同，这通常会导致训练的不稳定，并导致决策边界偏向于数量多的类别。对于类别不平衡问题，一种常见的策略是对数目多的类别进行降采样来重新平衡类别的先验分布，但是这种策略限制了训练图像的使用。
[论文笔记] 弱监督语义分割 半监督语义分割
Holeung blog
05-16 9870
Adversarial learning for semi-supervised semantic segmentation BLOG @vi_wsc GAN生成对抗网络：由两个子网络组成，generator和discriminator,在训练过程中，这两个子网络进行着最小最大值机制，generator用随机向量输出一个目标数据分布的样例，discriminator从目标样例中区分出生成器生成的样...
弱监督语义分割-SEC（seed、expand and constrain)的原理详述
“ccc111”的博客
12-29 1802
本文从原理的角度详细的讲述了弱监督语义分割中经典的SEC（Seed、Expand and Constrain)的工作原理
pytorch loss function （人脸损失函数/ 度量损失函数/回归问题的损失函数）总结
xys430381_1的专栏
01-15 4525
https://blog.csdn.net/zhangxb35/article/details/72464152
论文阅读：Two-Phase Learning for Weakly Supervised Object Localization
qq_40760171的博客
07-15 1034
Two-Phase Learning for Weakly Supervised Object Localization作者贡献Two-Phase Learning数据集Baseline结构First Phase LearningInference Conditional Feedback 作者贡献 问题：由于只有图像级别的注释，弱监督语义分割和定位只关注于图像最重要部分 解决：two-phase...
全局平均池化global average pooling理解和介绍
憨憨的博客
05-13 1672
传送门
BWA-MEM算法记录
weixin_34075551的博客
11-24 2313
2019独角兽企业重金招聘Python工程师标准>>> ...
BWA-MEM原始论文算法部分翻译
weixin_34309435的博客
11-23 846
2019独角兽企业重金招聘Python工程师标准>>> ...
SEC [ECCV16]
mutou_cly的博客
05-06 458
SEC paper: Seed, Expand and Constrain: Three Principles for Weakly-Supervised Image Segmentation 本文是发表在16年的ECCV上，本篇文章使用到了CAM的思路，算是拉开了后面基于CAM进行改进的序幕。 文章提出的网络的损失函数由三个部分的loss组成:LseedL_{seed}Lseed​，Lexp...
弱监督语义分割--Object Region Mining with Adversarial Erasing
AI小作坊 的博客
09-08 8110
Object Region Mining with Adversarial Erasing: A Simple Classification to Semantic Segmentation Approach CVPR2017怎么将只有图像标签的训练图像用于语义分割的训练，这里我们提出使用一个分类网络来讲训练图像中的物体进行分割，得到像素标记的训练图像，同时提出一个 online prohibi
extend俄expend区别
06-08
"extend" 和 "expend" 的区别在于它们的意思不同。"extend" 表示扩展、延伸、延长、增加等，而 "expend" 表示花费、支出、耗费、用掉等。 举例来说，如果你要扩大公司的业务范围，你会使用 "extend" 这个词，而如果你要花费很多资金来开展这项业务，你可能会使用 "expend" 这个词。 另外，"extend" 更常用于物理空间或时间的延伸，例如 "extend the deadline"（延长截止日期）或 "extend your arm"（伸出你的手臂）。而 "expend" 更常用于精力、金钱或其他资源的耗费，例如 "expend a lot of energy"（花费很多精力）或 "expend money"（花费金钱）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值