【论文阅读】RRM：一个端到端的弱监督语义分割方法

最新推荐文章于 2024-06-07 16:14:43 发布
最新推荐文章于 2024-06-07 16:14:43 发布
阅读量951 收藏 23
点赞数 27
文章标签： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/w_zyth/article/details/136400463
版权

【论文阅读】RRM：一个端到端的弱监督语义分割方法

文章目录


Reliability Does Matter: An End-to-End Weakly Supervised Semantic Segmentation Approach

弱监督语义分割是一项具有挑战性的任务，因为它只需要图像级信息作为训练的监督

像素级预测用于测试

 

最先进的方法提出采用两步解决方案

  1. 学习生成伪像素级掩码，
  2. 使用fcn训练带有伪掩码的语义分割网络

 

生产高质量的伪掩模时采用各种技巧

利用图像级标签来生成可靠的像素级注释，并设计了一个完全端到端网络来学习预测分割图

 

图像分类分支为标注的类别生成类激活图

类别被进一步修剪成有效但微小的对象/背景区域

 

一、介绍

弱监督语义分割提供了比采用像素级掩码的完全监督语义分割更简单的方法

因为语义标签和像素之间没有直接的映射

 
一步法分割精度往往完全低于完全监督

 

为了产生高质量的伪掩码

例如以离线方式从对象建议中引入额外的对象/背景线索

一个是使用图像级注释生成伪像素级掩码，另一个是生成语义分割结果

通过增加一个额外的CRF操作，这些区域可以进一步修剪成更可靠的区域
 

设计了一种正则化损失，称为密集能量损失，它与逐像素的交叉熵损失相配合来优化训练过程

 

RRM在Pascal VOC val和测试集上分别达到了62.6和62.9的mIoU分数

 

二、联系工作

提出了第一个用于语义分割的全卷积网络FCN

 

WSSS：

  • 是基于类激活图(CAM) (Zhou et al. 2016)，即从图像级注释生成初始对象种子或区域
  • 初始对象种子或区域被转换成伪标签来训练语义分割模型
  • 使用了为seed growing的传统算法来迭代扩展种子区域。

 

使用各种各样的技术产生了高质量的伪掩码

 

三、方法

RRM可以分为两个并行分支：

  • 分类分支
  • 语义分割分支

 

训练过程中同时对整个网络进行更新

总体框架如下

在这里插入图片描述

分类分支用于生成可靠的像素级注释。原始cam将被处理以产生可靠但微小的区域

最终保持可靠的区域被视为标记区域，而其他区域被视为未标记区域

 
语义分割分支用于预测像素级标签

分支将交叉熵损失与新设计的密集能量损失相结合，提出了一种新的联合损失函数

 
分类分支:生成可靠区域标签

高质量的像素级标注直接影响我们最终的语义分割性能

原始CAMs可以突出显示物体最具区别性的区域

得到原始CAM区域后，后处理如密集的CRF

在最后三层中添加了展开卷积。我们的网络设置的细节报告在我们的实验部分。

 

使用多尺度原始图像有利于生成稳定的CAM

在这里插入图片描述

在这里插入图片描述
 
用于区别背景和前景，255则代表还没有确实分的类别

原始CAM标签包含大多数前景标签，但引入了一些背景像素作为前景

在这里插入图片描述
 
最后将像素标签输入到语义分割分支

在这里插入图片描述

可以在保留可靠区域的同时去除一些错误的像素级标签，这在物体边界处表现得尤为明显

我们的分割分支与分类分支共享同一骨干网，只需要可靠且微小的像素级标签

 
在这里插入图片描述

我们设计了一种新的浅损失，称为密集能量损失，同时考虑了RGB颜色和空间位置。

在这里插入图片描述

Loss = Lce+Lenergy

四、实验结果

RRM在PASCAL VOC 2012 及其增强数据上进行了训练和验证

 

细节:

  • 骨干网是一个具有38个卷积层的ResNet模型
  • 并对最后三个resnet块进行扩展卷积(resnet块是一组具有相同输出大小的剩余单元)
  • 训练学习率为0.001
  • 权值衰减为5e-4
  • 训练图像以从(0.7,1.3)随机抽样的比率调整大小，随机翻转
  • 裁剪为321*321的大小

在这里插入图片描述
因为我们现在做的工作是遥感图像的语义分割，一张切割好的256*256的图像下，往往包含多个类别，以往的自然图像分割loss的构建划分了前景loss和背景loss，但RS图像单纯进行通道最大值提取来划分类别，用生成的伪标签和上采样得到的特征图做交叉熵loss

川川子溢
关注
  • 27
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
RRM:用于双向传输的微型请求响应管理器
06-15
资源管理 RRM（请求-响应-管理器）是一个用于促进双向传输（例如 websockets、webworkers 或 webrtc）上的请求和响应的小工具。 对异步流使用承诺。 特征 完全传输不可知 支持不需要响应的消息（“事件”） 通配符作为后备或默认处理程序 超时 环境要求 承诺 Browserify 在浏览器中使用 地图 用法 使用 Webworker 的设置示例 var hostWorker = new Worker ( "worker.js" ) ; //setup RRM by telling him where to send messages var requestManager = new RequestManager ( function ( data ) { hostWorker . postMessage ( JSON . stringify ( dat
RRM:Javascript ORM
05-30
资源管理 该库将帮助您管理JavaScript中实体之间的关系。 要使用，只需在您的项目中包含 rrm.js 并按照以下步骤操作： 实例化对象管理器 您需要做的第一件事是创建一个新的 ObjectManager 实例： var om = new ObjectManager ( ) ; 定义您的实体 对于您将在项目中使用的每个实体，您需要定义它的架构。 然后，您需要组合类和架构。 ObjectManager 类为此提供了一个辅助方法。 这是两个相互关联的架构的示例： var ProjectSchema = function ( ) { this . id = new RRM . Property . Int ( 'id' , { writable : false , persistable : false } ) ; this . start = new RRM
个人认为强化学习容易混淆或者不易理解的知识点
zzzzzzz12345699的博客
03-30 492
个人对于强化学习的一些理解，主要目的是为加强自己的理解
AI用于5G的思考
weixin_37097635的博客
09-07 518
作者：黄华说明：本文原发表在华为内部技术网站，已经被公司技术公众号《人工智能园地》转发。现去除敏感信息后，归档到个人公众号。刚参加完《无线大数据研讨会》，这个会议是由中科...
Reliability Does Matter: An End-to-End Weakly Supervised Semantic Segmentation Approach(AAAI 2020)
weixin_43870329的博客
07-02 1392
本文翻译了一篇关于弱监督语义分割论文，原文地址 目录摘要介绍相关工作提出的方法概述分类分支：生成可靠区域的标签语义分割分支：进行预测实验数据集和实现细节分析我们的方法与先前方法的比较结论 摘要 弱监督语义分割是一项具有挑战性的任务，因为它仅将图像级信息作为训练的监督，但会生成像素级的预测以进行测试。为了解决这一艰巨的任务，最新的最新方法建议采用两步式解决方案，即1）学习生成伪像素级遮罩，以及2）利用FCN（全卷积网络）训练伪像素级别的遮罩的语义分割网络。但是，两步解决方案通常在生产高质量的伪蒙版时要花很多力
一种基于TTCN的TD-SCDMA终端RRM一致性测试结构设计
01-20
本文分析了TD-SCDMA终端RRM一致性测试项，提出了一种基于TTCN的RRM一致性测试系统实现框架，并介绍了其内部结构和各个部分功能。这个结构已经用于实际的TD-SCDMA终端RRM一致性测试设备的研发中。
论文研究-TTCN在TD-SCDMA终端RRM一致性测试系统中的应用 .pdf
08-19
TTCN在TD-SCDMA终端RRM一致性测试系统中的应用，张娟，丁辉，TD-SCDMA终端一致性测试的一个重要内容就是进行RRM一致性测试，这对终端研发和认证有着重要的意义。本文首先介绍了TTCN（树表结合表示
论文研究-窄带物联网终端RRM一致性测试平台开发 .pdf
08-24
窄带物联网终端RRM一致性测试平台开发 ，傅晓，姜军，窄带物联网（NB-IoT）技术是一种利用现有非后向兼容的E-UTRAN蜂窝无线接入的物联网新技术，预计将在2017年大规模部署商用，目前诸多通�
论文笔记-Structure-Aware Residual Pyramid Network for Monocular Depth Estimation
kingsleyluoxin的博客
09-02 893
论文信息 论文标题：Structure-Aware Residual Pyramid Network for Monocular Depth Estimation 论文作者：Xiaotian Chen, Xuejin Chen, and Zheng-Jun Zha 研究机构：中国科学技术大学 论文出处：IJCAI 2019 引用信息： @inproceedings{DBLP:conf/ijcai/ChenCZ19, author = {Xiaotian Chen and
[弱监督语义分割]Reliability Does Matter: An End-to-End Weakly Supervised Semantic Segmentation Approach
qq_38932073的博客
04-04 1382
可靠性确实重要:端到端弱监督的语义分割方法（AAAI2020） 论文地址 开源代码
干货 ：只需十四步，从零开始掌握Python机器学习
Trb701012的博客
03-07 769
对机器学习算法的深度了解超过了本文探讨的范围，它通常需要你将非常大量的时间投入到更加学术的课程中去，或者至少是你自己要进行高强度的自学训练。我保证这样做是值得的。首先使用 Python 及其机器学习库，我们不仅已经了解了一些最常见和知名的机器学习算法（k 近邻、k 均值聚类、支持向量机等），还研究了强大的集成技术（随机森林）和一些额外的机器学习任务（降维算法和模型验证技术）。深度学习建立在几十年前的神经网络的基础上，但是最近的进步始于几年前，并极大地提高了深度神经网络的认知能力，引起了人们的广泛兴趣。
论文阅读：Sketching Image Gist：Human-Mimetic Hierarchical Scene Graph Generation(ECCV20)
qq_40349484的博客
02-22 615
论文阅读：Sketching Image Gist：Human-Mimetic Hierarchical Scene Graph Generation(ECCV20)
AFFU-Net|混合损失的注意特征融合的U-Net用于冬枣裂纹检测
qq_45023353的博客
05-23 539
本人小白，写博客是为了记录学习笔记，也为了和各位大佬交流，如果文中出现错误，希望各位指正，本人不胜感激！论文题目：AFFU-Net: Attention feature fusion U-Net with hybrid loss for winter jujube。
论文阅读 Explainable Image Similarity Integrating Siamese Networks and Grad-CAM
what_how_why2020的博客
06-03 696
给出论文（Explainable Image Similarity Integrating Siamese Networks and Grad-CAM）的内容解读、代码运行说明。
U-Net: Convolutional Networks for Biomedical Image Segmentation--论文笔记
dezwb的博客
06-04 912
人们普遍认为，深度网络的成功训练需要数千个带注释的训练样本。在本文中，我们提出了一种网络和训练策略，该策略依赖于数据增强的强大使用，以更有效地使用可用的注释样本。该体系结构包括捕获上下文的收缩路径和支持精确定位的对称扩展路径。我们表明，这样的网络可以从很少的图像中进行端到端训练，并且在ISBI挑战中优于先前的最佳方法(滑动窗口卷积网络)，以分割电子显微镜堆栈中的神经元结构。使用在透射光显微镜图像(相位对比和DIC)上训练的相同网络，我们在这些类别中以很大的优势赢得了2015年ISBI细胞跟踪挑战赛。
[论文阅读] ZeRo
天下月色共三分的博客
06-04 275
zero主要用于数据并行对于大模型来说，内存主要用来保存模型状态，主要有半精度训练：模型某层的w，和层的输入输出，都使用fp16例如，Wx = y ，这三者都是fp16但是有一个问题，fp16通常精度不够，加着加着就炸了，或者，太小的情况一直加都是0。这个情况在累积权重（不断把梯度的东西加进来）的时候会出现，所以如果权重也是fp16的话，可能加半天都加不动。所以权重更新使用fp32，也即是权重还有一个fp32的copy，作梯度更新的时候使用fp32，然后转成fp16，再参与前向后向计算。
Attention Is All You Need--论文笔记
dezwb的博客
06-03 895
主要的序列转导模型是基于复杂的RNN（循环神经网络）或CNN（卷积神经网络），一个编码器和一个解码器。表现最好的模型还通过注意机制连接的编码器和解码器。我们提出了一个新的简单的网络架构，Transformer，完全基于注意力机制，完全摒弃循环和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上更优越，同时更具并行性，并且需要更少的训练时间。我们的模型在WMT 2014英语-德语翻译任务上实现了28.4 BLEU，比现有的最佳结果(包括集合)提高了2个BLEU以上。
【论文阅读】MODELING AND SOLVING THE TRAVELING SALESMAN PROBLEM WITH PRIORITY PRIZES
最新发布
小威的博客
06-07 507
本文研究了具有优先奖励（TSPPP）的旅行商问题，这是经典TSP的扩展，在目标函数中考虑了节点访问的顺序。当节点i以路线的第k个顺序访问时，旅行销售员收到奖励pki，而当销售员从节点i旅行到节点j时，产生旅行成本cij。TSPPP的目的是找到最大利润的n-节点之旅。这个问题可以被看作是一个具有更一般的目标函数的TSP变体，旨在针对在某种程度上考虑客户服务质量、交付优先级和成本的解决方案。
【论文阅读】Point2RBox (CVPR’2024)
Yann的博客
06-05 128
Point2RBox(CVPR24)，点监督遥感有向目标检测
复现Transferring Adversarial Robustness Through Robust Representation Matching需要配置以下环境： Python 3.6或以上 PyTorch 1.0.0或以上 TorchVision 0.2.1或以上 NumPy Matplotlib tqdm 建议使用Anaconda或Miniconda来创建虚拟环境，并在其中安装以上依赖项。的详细步骤
05-24
2. 打开终端或命令行界面，并创建一个新的conda虚拟环境。您可以命名该环境为“adv-robustness”： ``` conda create --name adv-robustness python=3.6 ``` 3. 激活新创建的虚拟环境： ``` conda activate ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值