【论文阅读笔记】Uncertainty-aware Joint Salient Object and Camouflaged Object Detectio

最新推荐文章于 2024-01-02 19:40:04 发布
最新推荐文章于 2024-01-02 19:40:04 发布
阅读量1.3k 收藏 6
点赞数 1
分类专栏： 目标检测论文 文章标签： 深度学习 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_38974831/article/details/116610383
版权

【论文阅读笔记】Uncertainty-aware Joint Salient Object and Camouflaged Object Detection

提示：新手小白，单纯做笔记，如有错误还请指出。

原文链接

GitHub链接：https://github.com/JingZhang617/Joint_COD_SOD

文章目录

Author

论文信息
提示：以下是网上找到的作者的一些信息，可供参考。

Aixuan Li：西北工业大学，研究成果
Jing Zhang：澳大利亚国立大学&&澳大利亚联邦科学与工业研究组织 ，研究成果
Yunqiu Lv：西北工业大学，研究成果
Bowen Liu：西北工业大学，研究成果
Tong Zhang：瑞士洛桑联邦理工学院，研究成果
Tong Zhang：瑞士洛桑联邦理工学院，研究成果
Yuchao Dai（戴玉超）：西北工业大学，研究成果，个人介绍，添加链接描述

一、Abstract

根据视觉显著性物体检测与伪装性物体检测任务的相互对立与学习展开，提出了基于不确定性感知的显著性物体检测和伪装物体检测的联合学习网络，建模网络预测的置信度，并通过深入挖掘两任务间的相关性，利用显著性物体和伪装物体的矛盾对立属性，使相互对立的显著性物体检测与伪装物体检测任务相互帮助。

显著目标检测（SOD）目的是发现吸引人注意的明显的目标，伪装目标检测（COD）目的是发现藏在背景中的伪装的目标。
本文提出了一种通过矛盾信息增强显著目标检测和伪装目标检测的检测能力。
首先把COD 的简单正样本，作为SOD的hard 正样本，增强了SOD的鲁棒性。
其次，引入“相似性度量”来明确矛盾属性。
另外，COD和SOD的数据标注不确定性，提出敌对学习网络来实现高阶相似性度量和网络置信度估计。

二、Introduce

1.数据扩充

在这里插入图片描述
在显著目标和伪装目标过渡中，也存在中间的目标，同时属于两者，比如北极熊。
现在的显著目标检测主要关注网络结构和损失函数。但是除了这两者之外，有效的训练数据集会带来性能的提升。
有效的数据集:扩充数据集
把中间的（类似北极熊）低对比度的目标加入到显著目标数据集，设计一个学习网络来实现 easy samples from COD (e.g. the polar bear) as hard samples for SOD，提高对比度。

2.

三、Related Work

1.Salient Object Detection Models

2.Camouflaged Object Detection Models

3.Multi-task Learning

4.Adversarial Learning

四、Method

1.Data augmentation

首先介绍了一种数据扩充：COD中的简单样本作为SOD中困难样本。从COD中选择样本，用训练好的SOD技术安MAE，选择值最小的样本。选择COD中MAE（平均绝对误差）最小的400张图片随即代替SOD中的样本。

2.Contradicting modeling

其次，提出“相似性度量”模块然后显式地建模两个任务（SOD和COD）的“矛盾”属性。
在这里插入图片描述

Dc：COD dataset;
Ds:SOD dataset
i:图像索引
X,Y:图像和GT对
Nc，Ns：伪装训练集和显著训练集的大小
在这里插入图片描述
Dp：PASCAL VOC 2007数据集作为连接建模数据集，从中提取显著特征和伪装特征

在这里插入图片描述

（1）Feature Encoder

特征编码器用来提取特征。Dc和Ds作为输入
显著性编码器Eαs和伪装编码器Eαc。α表示参数。使用ResNet50作为编码器的backbone，四组卷积层，通道为[256, 512, 1024, 2048]。其输出特征用F={f1，f2，f3，f4}表示。
在这里插入图片描述
group：相同空间大小特征

（2）Similarity Measure

Dp作为输入，提取出特征图，然后把特征逐通道连接，反馈到相同的全连接层去获取潜在显著特征和潜在伪装特征，潜在空间维度设为K=700
在这里插入图片描述

相似性度量来将COD和SOD任务与Dp连接起来。
假设两个任务激活的区域不同，导致潜在特征彼此分离。然后选择cos相似度来度量潜在空间中的显著特征和伪装特征之间的差异，把潜在空间损失定义为：

在这里插入图片描述
在这里插入图片描述
给显著编码器和伪装编码器相同的图像，计算显著图和伪装图，并用红色突出前景，可以看出两者激活区域不同，显著编码器更关注从上下文突出的区域，而伪装编码器关注和背景颜色或结构相似的隐藏对象。这和我们假设一致。

3.Uncertainty-aware adversarial learning

最后是基于不确定性感知的对抗训练网络，在测试过程中产生可解释的预测，在训练过程中实现更高阶的相似性度量。
在这里插入图片描述
SOD中的不确定性来在于显著性的模糊性，比如a中的球是突出的，但在b中是背景。COD的不确定性是标注不精确，c中的橙色区域和背景太相似了，不好标注。
为此，我们引入了一种不确定性感知的对抗性训练策略，在我们的联合学习框架中对特定任务的不确定性进行建模，该框架包括一个“预测解码器”模块来产生与任务相关的预测，一个“置信度估计”模块来估计每个预测的不确定性，以及一个用于鲁棒模型训练的对抗性学习策略。

（1）Prediction decoder

预测解码器
设计一个共享解码结构，他们认为不同的特征解码模型能
为COD和SOD图产生特定任务的特征。然后"预测解码"模型的目的是特定任务特征与他们相对应的低水平特征结合产生预测结果。在这里插入图片描述

设计了一个自上而下的连接网络
Re：residual channel atten-
tion module，（剩余通道注意模块）提取更好的特征。
Da：dual attention module(双重注意模块）将较高层的语义信息和较低层的结构信息融合，来获取初预测。
conv是33的卷积，输出通道为23
[]逐通道拼接，拼接前上采样至相同空间
Ccla：33的卷积,为每一个任务将特征映射到通道预测。
在这里插入图片描述
R3和R4是ResNet50的第三阶段和第四阶段。
在这里插入图片描述
最终的预测解码器结构。

在这里插入图片描述

（2）Feature Encoder

（3）Feature Encoder

五、Experimental

六、Code

此论文的代码是公开的，将发布到
https://github.com/JingZhang617/Joint_COD_SOD
实验细节也在上边，代码将在不久之后发布，目前还没有！

Conclusion

栗子菜菜
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Uncertainty-Aware Cascaded Dilation Filtering for High-Efficienc
07-15
《Uncertainty-Aware Cascaded Dilation Filtering for High-Efficiency Deraining》是关于深度学习在图像去雨领域的先进方法。这篇学习笔记详细介绍了如何利用不确定性感知级联膨胀滤波技术来实现高效去雨处理，...
TrustGeo: Uncertainty-Aware Dynamic Graph Learning for Trustwort
最新发布
02-19
"TrustGeo: Uncertainty-Aware Dynamic Graph Learning for Trustworthiness" 是一项研究，旨在引入不确定性处理机制到动态图学习中，以提高模型的信任度。本文将详细介绍TrustGeo框架以及其在PyTorch中的实现。 ...
Uncertainty-aware Joint Salient Object and Camouflaged Object Detection阅读笔记
Malidong的博客
04-15 1417
一、简介 显著物体检测旨在发现吸引人类注意力的显著物体，而伪装物体检测则旨在发现隐藏在周围的伪装物体。 本文提出了一种利用矛盾信息来增强显著目标检测和伪装目标检测能力的方法。 提出了一种数据扩充策略，将伪装数据集中的简单样本作为显著性检测的困难样本，实现了一个鲁棒的显著性模型。 设计了相似性度量模块来显式地建模两个任务的“矛盾”属性。 在对抗式学习框架下引入第一个联合显著目标检测和伪装目标检测网络，明确建模每个任务的预测不确定性。 二、数据扩充 如图1所示，显著突出的物体和伪装的物体是矛盾的属性。但是也存
论文阅读：Uncertainty-aware Joint Salient Object and Camouflaged Object Detection
xiongxyowo的博客
07-02 1506
论文地址：https://arxiv.org/abs/2104.02628 代码地址：https://github.com/JingZhang617/Joint_COD_SOD 发表于：CVPR 2021 I. Intro 这个网络是用来进行显著目标检测与伪装目标检测的，并且在这两个任务上均达到了SOTA II. Network Architecture 一点一点来看： Xs : SOD数据集中的图像 Xc : COD数据集中的图像 EαsE_{\alpha_{s}}Eαs​​ : 用于SOD的E
《Uncertainty-aware Joint Salient Object and Camouflaged Object Detection》—CVPR2021—SOD+COD
qq_41820921的博客
07-07 832
文章：https://arxiv.org/abs/2104.02628 代码：https://github.com/JingZhang617/Joint_COD_SOD 摘要： 本文做的是显著性目标检测和伪装目标检测的联合学习任务。核心是利用这两个任务之间的矛盾信息共同提升两任务的性能。1、本文将COD中的强的正样本作为SOD中的弱的正样本，以此提升SOD模型的鲁棒性。2、介绍了一个相似性度量模型(“similarity measure” module),显式的为这两个任务之间矛盾的属性进行建模。3、
数据密集型 通信密集型_经典数据的超密集编码
weixin_26750481的博客
08-14 649
数据密集型 通信密集型My immediately-previous article titled, “130,780-point Quantum Classification,” the circuit of which used 20 qubits to map all that data, resulted in a Twitter thread that inspired me to th...
Uncertainty——CVPR 2021
catfishH的博客
10-18 3034
1. Uncertainty Guided Collaborative Training for Weakly Supervised Temporal Action Detection   2. Uncertainty-aware Joint Salient Object and Camouflaged Object Detection 3. Dive into Ambiguity: Latent Distribution Mining and Pairwise Uncertainty Estimatio
分布式自治机器人的不确定性感知任务分配_Uncertainty-Aware Task Allocation for Distri
01-23
本文"Uncertainty-Aware Task Allocation for Distributed Autonomous Robots"探讨了在情境感知不确定性情况下，如何进行有效的任务分配。作者Liang Sun和Leonardo Escamilla提出了一种基于无嗅变换（Unscented ...
离散控制Matlab代码-Automatic-Detection-and-Uncertainty-Quantification-of-Land
05-23
离散控制Matlab代码弹性曲线上地标的自动检测和不确定性量化 作者贡献清单表 数据 抽象的 提供了三个主要数据集，涵盖了主要手稿中几乎所有包含的示例。 首先是Matlab文件toycurve.mat，它提供了手稿第5节中使用的...
Search-based Uncertainty-wise Requirements Prioritization
02-22
To ensure the quality of requirements, a common practice, especially in critical domains, is to review requirements within a limited time and monetary budgets. A requirement with higher importance, ...
CVPR 2021 | 上交和国科大提出DCL：旋转目标检测新方法
阿木寺的博客
03-05 2597
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文作者：yangxue |来源：知乎（已授权）https://zhuanlan.zhihu.com/p/354...
【有向目标检测】DCL密集编码标签
记录踩过的坑
01-02 962
卷积参数计算Flops2×Ci×K2×H×W×CoParamesCi×K2×CoFlops2×Ci​×K2×H×W×Co​ParamesCi​×K2×Co​其中CiC_iCi​和CoC_oCo​分别表示输入输出的通道数，K表示卷积层的卷积核，H和W表示特征图的高和宽。
【目标检测】|任意方向目标检测
qq_35608277的博客
05-16 1892
Arbitrary-Oriented Object Detection with Circular Smooth Label（2020ECCV） 论文地址：https://arxiv.org/abs/2003.05597 开源代码：https://github.com/Thinklab-SJTU/CSL_RetinaNet_Tensorflow 作者解读：https://zhuanlan.zhihu.com/p/111493759 本文亮点： 将角度预测这个回归问题视为分类问题，同时结合了回归任务，提高了
【论文理解】Uncertainty-Aware Few-Shot Image Classification
lijianyi0219的博客
10-14 2991
内容概览前言一、核心思想二、论文算法1.引入库2.读入数据三、实验结果总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、核心思想 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、论文算法 1.引入库 代码如下（示例）： import numpy as np import pandas
半监督方法：不确定性感知自增强模型
qq_36484003的博客
09-19 3439
半监督方法：不确定性感知自增强模型 文献：Uncertainty-aware Self-ensembling Model for Semi-supervised 3D Left Atrium Segmentation（半监督方法：不确定性感知自增强模型） 原文：https://arxiv.org/abs/1907.07034 代码：https://github.com/yulequan/UA-MT 主题：semi-supervised, segmentation，Uncertainty estimatio
伪装物体检测
AbyssssssssssS的博客
06-25 1901
伪装物体检测
一文看尽 6篇 CVPR2021 伪装目标检测、旋转目标检测论文
weixin_36670529的博客
02-23 3563
目录 1.ResNet意义 2.ResNet结构 3.ResNet50和ResNet101 4、基于ResNet101的Faster RCNN 5、基于ResNet的FPN 1、构建自下而上的网络 2、构建金子塔进行上采样、横向连接和融合： 6、参考文献 ResNet[1]在2015年被提出，在ImageNet比赛classification任务上获得第一名，因为它“简单与实用...
西北工业大学计算机学院硕士论文,西北工业大学电子信息学院戴玉超教授及其研究生的论文被国际顶级会议CVPR 2021录用...
weixin_32019909的博客
07-02 442
3月4日，我校电子信息学院戴玉超教授及其研究生的两篇论文被2021年IEEE 计算机视觉与模式识别会议(IEEE Conference on Computer Vision and Pattern Recognition，简称CVPR)录用。被录用论文之一为“Uncertainty-aware Joint Salient Object and Camouflaged Object Detectio...
multi-task learning using uncertainty to weigh losses for scene geometry and
10-19
多任务学习利用不确定性来加权损失用于场景几何和...... 多任务学习是一种机器学习方法，旨在通过同时学习多个相关的任务来提高模型的性能。在场景几何和...中，我们可以利用多任务学习来同时学习场景几何和......

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值