- 博客(52)
- 收藏
- 关注
RSS订阅原创 [论文阅读RGBD-SOD][2022_TCSVT_MoADNet][轻量化]
尽管已有许多优秀的RGB-D SOD技术被提出，但它们大多关注性能增强，而缺乏对移动设备上实际部署的关注。在本文中，我们提出了移动非对称双流网络(MoADNet)，用于实时和轻量级RGB-D SOD。1.首先，受到RGB和深度模式之间固有差异的启发，我们观察到深度图可以用比RGB图像更少的通道表示。因此，我们设计了基于MobileNetV3的非对称双流编码器。
2023-04-11 16:26:10
1081
2
原创 2022_SPL_CMINet(Cross-Stage Multi-Scale Interaction Network for RGB-D Salient Object Detection )
显着物体检测 (SOD) 旨在检测人类视觉中最突出的物体和区域。由于RGB和深度模态包含不同的特征并传达了不同领域的线索，因此如何探索 多模态信息的融合 和 跨阶段特征的相互作用 仍然是rgb-d SOD的关键问题。在这篇文章中，我们提出了一个 跨阶段多尺度交互网络 (CMINet) ，由 多尺度空间池 (MSP) 模块 和 跨阶段金字塔交互 (CPI) 模块 组成，以自下而上和自上而下的方式交织不同阶段的特征图。
2023-03-01 15:58:44
652
原创 2022_TIP_DSNet
1. 动机1) 用于监督学习的像素级注释既昂贵又耗时。2) 与RGB图像相比，成对的rgb-d图像更难以收集。2. 解决方法提出 Dual-Semi RGB-D Salient Object Detection Network（DS-Net），利用没有标记的RGB图像来增强 RGB-D 显著性检测。第一步：设计了一个depth decoupling convolutional neural network (DDCNN)，包含两个分，depth estimation branch and a
2022-12-15 22:35:44
821
原创 2022_SPIC_FANet
如何将RGB和Depth充分挖掘和融合仍是一个关键问题。第一个问题是如何从中充分，从而可以可靠地反映场景的空间结构。第二个问题是如何有效地外观信息和几何信息，即有效的，其中RGB图像和深度图的内在属性存在很大差异。提出FANet,主要包括两个部分1. 特征提取模块（非对称架构）2. 特征聚合模块（主要特点），由两部分组成：REM（区域增强模块），HFM（分层融合模块）REM（区域增强模块）：用于区分显著和HFM（分层融合模块）：用于逐步整合和。
2022-12-10 23:44:24
737
原创 【arXiv2022】GroupTransNet: Group Transformer Network for RGB-D Salient Object Detection
大致的流程就是骨干网络提取特征，进行跨模态融合，通道统一，尺度统一，再送到transformer这个好东西里面，最后把一直没用过的第一层特征引到中高层特征里面去解码。httpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttps。.........
2022-07-21 16:57:16
766
2
原创 CCAFNet: Crossflow and Cross-scale Adaptive Fusion Network for Detecting Salient Objects in RGB-D Im
CCAFNet: Crossflow and Cross-scale Adaptive Fusion Network for Detecting Salient Objects inRGB-D ImagesCCAFNet：用于检测 RGB-D 图像中显着对象的交叉流和跨尺度自适应融合网络现有的 SOD 模型主要利用 RGB 图像及其在三个融合域中的相应深度信息之间的关系：输入 RGB-D 图像、提取的特征图和输出显着对象。然而，这些模型并没有很好地利用高级和低级信息之间的交叉流动。此外，这些模型中的解码器
2022-07-13 21:01:22
1032
8
原创 Deep RGB-D Saliency Detection with Depth-Sensitive Attentionand Automatic Multi-Modal Fusion
Deep RGB-D Saliency Detection with Depth-Sensitive Attention andAutomatic Multi-Modal Fusion深度敏感注意和自动多模态融合的深度 RGB-D 显着性检测CVPR2021RGB-D 显着目标检测 (SOD) 通常被表述为对两种模式（即 RGB 和深度）的分类或回归问题。 因此，有效的 RGBD 特征建模和多模态特征融合在 RGB-D SOD 中都起着至关重要的作用。提出了一种使用显著对象的深度几何先验的深度敏感 RGB
2022-07-12 16:10:45
846
原创 SwinNet: Swin Transformer drives edge-aware RGB-D and RGB-T salient object detection
卷积神经网络 (CNN) 擅长在某些感受野内提取上下文特征，而Transformer可以对全局远程依赖特征进行建模。Swin Transformer ，吸收了 CNN 的局部优势和 Transformer 的远程依赖优点。在以上基础上，作者提出了一种用于 RGB-D 和 RGB-T 显著目标检测的跨模态融合模型 SwinNet。它是由Swin Transformer提取分层特性,使用通道注意力和空间注意力推动以弥合两种模态之间的差距，并由边缘信息引导以锐化显着对象的轮廓。具体而言，双流S...
2022-07-11 14:08:21
2688
1
原创 Dynamic Selective Network for RGB-D Salient Object Detection
Dynamic Selective Network for RGB-D Salient Object Detection用于 RGB-D 显着目标检测的动态选择网络IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 30, 2021通过各种融合策略来整合RGB图像和深度图。忽略了两种模式之间的固有差异，这导致在处理一些具有挑战性的场景时性能下降。动态选择网络 (DSNet)，通过充分利用两种模态之间的互补性来执行rgb-d图像中的显着目标检测 (SOD)。1. 部署一个跨
2022-07-07 16:19:15
763
4
原创 MobileSal: Extremely Efficient RGB-D Salient Object Detection
神经网络计算成本高提出了一种隐式深度恢复（IDR）技术来增强移动网络对 RGB-D SOD 的特征表示能力。 IDR 只在训练阶段采用，在测试时省略，因此计算上是免费的。提出了紧凑的金字塔细化（CPR），用于有效的多级特征聚合，以导出具有清晰边界的显着对象。使用 RGB 和 depth 流进行单独的特征提取。RGB 流：采用 MobileNetV2 作为骨干网络，五个阶段的输出特征图表示为 C1、C2、C3、C4、C5depth 流：与 RGB 流类似，深度流也有五个步幅相同的阶段。 由于深度图包含的语义信
2022-07-04 21:25:02
786
原创 【论文阅读18】Employing Bilinear Fusion and Saliency Prior Information for RGB-D Salient Object Detection
Employing Bilinear Fusion and Saliency Prior Information for RGB-D Salient Object Detection使用双线性融合和显著性先验信息进行 RGB-D 显著目标检测IEEE TMM 2021 大多数现有模型采用线性融合策略（例如，连接）进行多模态特征融合，并使用简单的从粗到细的结构进行显着性推理。尽管它们很简单，但它们既不能完全捕获跨模态互补信息，也不能利用不同层次的跨模态特征之间的多层次互补信息。1 ） 提出了一个多模态特征交互
2022-06-29 16:21:39
471
原创 【论文阅读】Hierarchical Alternate Interaction Network for RGB-D Salient Object Detection
Hierarchical Alternate Interaction Network for RGB-D Salient Object Detection用于 RGB-D 显着目标检测的分层交替交互网络因为深度图在采集过程中质量有好有差减轻深度图的干扰，突出显著对象分层交替交互网络 (HAINet)HAINet 的主要创新是分层交替交互模块（HAIM）HAIM首先使用RGB特征过滤深度特征中的干扰物，然后利用纯化的深度特征依次增强RGB特征HAINet 由特征编码、跨模态交替交互和显着性推理组成，骨干网络为
2022-06-27 21:09:12
1022
原创 TriTransNet: RGB-D Salient Object Detection with a Triplet Transformer Embedding Network
显著目标检测是一项像素级的密集预测任务，可以突出场景中的显著目标。近年来，U-Net框架得到了广泛的应用，连续的卷积和池操作产生了相互补充的多层次特征。鉴于高级功能对性能的贡献更大，我们提出了一个三重变压器嵌入模块，通过学习跨层的远程依赖来增强它们。这是第一个使用三个具有共享权重的变压器编码器来增强多级功能的编码器。通过进一步设计比例调整模块来处理输入，设计三流解码器来处理输出，并将深度特征附加到颜色特征以进行多模融合，所提出的三重变压器嵌入网络（TriTransNet）在RGB-D突出目标检测方面达到了最
2022-06-06 19:04:27
738
2
原创 Depth Quality-Inspired Feature Manipulation for Efficient RGB-D Salient Object Detection
Depth Quality-Inspired Feature Manipulation for Efficient RGB-D Salient Object Detection用于高效 RGB-D 显著目标检测的深度质量启发特征操作Motivation1. 现有的 RGB-D SOD 模型在效率和准确性方面往往表现不佳2. 一个潜在的挑战是，当模型被简化为只有很少的参数时，模型的准确性通常会降低。Solution启发：深度质量是影响精度的关键因素1. depth quality-
2022-05-31 19:27:26
749
原创 Bifurcated Backbone Strategy for RGB-D Salient Object Detection
Bifurcated Backbone Strategy for RGB-D Salient Object DetectionRGB-D显著目标检测的分叉主干策略ECCV2020Motivation当多级特征遇到多模态线索时，很难去聚合最优特征 和 学习多模态策略Solution作者利用 RGB D 显著对象检测固有的多模态和多级特性来设计一种新颖的级联细化网络。分叉主干策略（BBS）将多级特征重新组合为教师和学生特征。其次，我们引入了深度增强模块 (DEM)，以从通道和空间视图
2022-05-27 19:43:57
693
原创 CFIDNet: cascaded feature interaction decoder for RGB-D salient object detection
Motivation1. 现有的rgb-d SOD模型容易忽略特定于模态的特征，并通过简单的逐元素加法或乘法来融合多模态特征。因此，当遇到不准确或模糊的深度图像时，显著图的质量可能会因此而降低。2. 此外，许多模型采用U形架构，逐层集成多层次特征。尽管低级别特征可以逐渐完善，但对高级特征的增强却很少关注，这可能会导致次优结果。Solutiona novel network named CFIDNet具体来说，作者设计了feature-enhanced module，从深度图像中挖掘出信息
2022-05-26 21:55:24
1010
原创 RGB-D Salient Object Detection with Cross-Modality Modulation and Selection
RGB-D Salient Object Detection with Cross-Modality Modulation and Selection具有跨模态调制和选择的 RGB-D 显着目标检测一、Motivationtwo challenge：1）如何有效地整合来自 RGB 图像及其对应的深度图的互补信息；2）如何自适应地选择更多与显着性相关的特征。二、Solutions(1) cross-modality feature modulation (cmFM) 模块，通过
2022-05-19 09:22:31
834
原创 Cross-Modal Weighting Network for RGB-D Salient Object Detection
Cross-Modal Weighting Network for RGB-D Salient Object Detection用于RGB-D显著性目标检测的跨模态加权网络深度图包含辅助显著目标检测（SOD）的几何线索。在本文中，我们提出了一种新的跨模态加权（CMW）策略，以鼓励RGB-D SOD的RGB和深度通道之间的全面交互。具体来说，我们开发了三个RGB深度交互模块，即CMW-L、CMW-M和CMW-H，分别用于处理低、中、高级别的跨模态信息融合。这些模块使用深度到RGB权重（...
2022-05-17 10:35:29
673
原创 RGB-D论文复习速读
[TANet]Three-stream attention-aware network for RGB-D salient object detectionIEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 28, NO. 6, JUNE 2019以往基于卷积神经网络的RGB-D融合系统通常采用双流结构，其中RGB和深度输入是独立学习的。多模态融合阶段通常通过在推理过程中连接每个流的深度特征来执行。由于以下两个局限性，传统的双流体系结构可能会经历不...
2022-05-11 20:16:56
2558
原创 Select, Supplement and Focus for RGB-D Saliency Detection
Select, Supplement and Focus for RGB-D Saliency Detection摘要深度图或单个物体边缘的任意分布的错误或者区域的缺失会对RGBD显著性检测产生负面影响。作者提出了一种新的RGB-D显著性检测框架，该框架考虑了两种模式（RGB和深度信息）的全局位置和局部细节互补性。(CIM) 互补交互模块从 RGB 和深度数据中有区别地选择有用的表示，并有效地集成跨模态特征。融合的特征可以准确定位具有精细边缘细节的显著对象。还提出了一种补偿感知损失(co
2022-05-11 19:11:15
344
原创 Three-Stream Attention-Aware Network for RGB-D Salient Object Detection
总体框架三个流的主干网络采用VGG16，去除全连接层，保留5个卷积块。作者添加了一个具有 15×15 的新卷积层，用于全局上下文推理，作为第 6 个卷积块。提出的rgb-d SOD系统包含三个自下而上的流，即RGB特定流，深度特定流和交叉模态的蒸馏流，分别在每个级别中提取模态特定的和新的rgb-d表示。对于特定于深度的流，我们将单通道深度图编码为 3 通道 HHA 表示（即水平视差、离地高度以及局部表面法线与推断的重力方向的角度）为 输入。HHA 编码比原始深度图携带更多几何线索（例如，表面法线和高..
2022-05-10 09:31:32
393
原创 RGBD Salient Object Detection via Disentangled Cross-Modal Fusion
RGBD Salient Object Detection via DisentangledCross-Modal FusionIEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 29, 2020深度对于显着目标检测 (SOD) 具有其他显着性提示是有益的。 现有的RGB-D SOD方法侧重于剪裁复杂的跨模态融合拓扑，虽然取得了很好的性能，但在研究跨模态互补性时存在过拟合和不确定的风险。 与这些完全结合跨模态特征而不区分的传统方法不同，我们...
2022-05-06 15:31:05
309
原创 【PDP】RGB-‘D’ Saliency Detection With Pseudo Depth
【PDP】RGB-‘D’ Saliency Detection With Pseudo DepthIEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 28, NO. 5, MAY 2019动机显著性目标检测还是以RGB图为主 人脑可以从仅 RGB 的图中提取场景的几何模型，提供场景的 3D 感知（脑补）措施RGB-'D' ：从 单个RGB 图像中估计伪深度（与人类感知一致）作为补充信息来辅助显著性检测注意：其实所谓的伪深度就是单目深度估计
2022-05-05 19:35:43
550
原创 （十六）完整的模型验证套路
【声明】来源b站视频小土堆PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】_哔哩哔哩_bilibili测试/demo套路：利用及已经训练好的模型，给它提供输入模型是在谷歌的gpu上训练好的，精度为60多，这边直接加载test.pyimport torchfrom PIL import Imageimport torchvisionimport torch.nn as nnimg_path = "./data/cat.png" #图片路径image.
2022-05-03 15:34:21
816
原创 【十五】利用GPU训练
【声明】来源b站视频小土堆PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】_哔哩哔哩_bilibiliGPU训练有两种方式方式11 mymodel = MyModel() mymodel = mymodel.cuda()2 #损失函数 loss_fun = nn.CrossEntropyLoss() loss_fun = loss_fun.cuda()3 imgs,targets = dataimgs = imgs.cuda()ta...
2022-05-02 21:59:54
748
原创 （十四）完整的模型训练套路
【声明】来源b站视频小土堆PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】_哔哩哔哩_bilibilimodel.pyimport torchfrom torch import nn# 搭建神经网络class Model(nn.Module): def __init__(self) -> None: super().__init__() self.model = nn.Sequential( nn.C.
2022-05-02 20:49:07
757
原创 (十三)网络模型的保存与读取
【声明】来源b站视频小土堆PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】_哔哩哔哩_bilibiliimport torchimport torch.nn as nnimport torchvision#参数是没有经过训练的vgg16 = torchvision.models.vgg16(pretrained=False)#保存方式1#既保存网络，又保存了模型参数torch.save(vgg16,"./data/vgg16.pth")#保存方式2,只保存了模型参数
2022-05-02 15:46:32
553
原创 （十二）现有网络模型的使用及修改
【声明】来源b站视频小土堆PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】_哔哩哔哩_bilibiliimport torch.nn as nnimport torchvisionvgg16_true = torchvision.models.vgg16(pretrained=True)#在vgg16_true后面添加一层线性层linear,名字为add_linear,实现cifar10分类# vgg16_true_add = vgg16_true.add_module('a
2022-05-02 14:50:32
789
原创 【十一】优化器1
【声明】来源b站视频小土堆PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】_哔哩哔哩_bilibili上一节说到了反向传播，当我们使用损失函数的时候，我们可以调用损失函数的backward，就可以得到一个反向传播，反向传播可以求出每一个需要调节的参数的梯度，有了梯度就可以用优化器根据梯度调整参数，以达到降低整体误差面以Adam算法为例，介绍优化器中参数的使用情况，Adam类的使用方式如下:torch.optim.Adam(params, 1r=0.001, betas=..
2022-05-01 22:16:23
1213
原创 （十）损失函数与反向传播
【声明】来源b站视频小土堆PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】_哔哩哔哩_bilibili简单的理解就是每一个样本经过模型后会得到一个预测值，然后得到的预测值和真实值的差值就成为损失（当然损失值越小证明模型越是成功），我们知道有许多不同种类的损失函数，这些函数本质上就是计算预测值和真实值的差距的一类型函数，然后经过库（如pytorch，tensorflow等）的封装形成了有具体名字的函数L1Loss，MSELossimport torchfrom t.
2022-05-01 21:21:51
2342
2
原创 （九）神经网络-搭建小实战和Sequential的使用
【声明】来源b站视频小土堆PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】_哔哩哔哩_bilibiliCIFAR10 model结构import torchimport torch.nn as nnfrom torch.nn import Conv2d, MaxPool2d, Flatten, Linearclass MyModel(nn.Module): def __init__(self): super(MyModel, self).__in
2022-05-01 16:44:37
140
原创 （八）神经网络-线性层及其他层介绍
【声明】来源b站视频小土堆PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】_哔哩哔哩_bilibiliNormalization Layersnn.BatchNorm2d对输入采用正则化，加快神经网络的训练速度主要是num_features,对应通道数channel，其他默认即可nn.BatchNorm2d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=Tr
2022-05-01 15:46:00
1510
原创 （七）神经网络-非线性激活
【声明】来源b站视频小土堆PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】_哔哩哔哩_bilibili非线性激活的作用是给神经网络中引入一些非线性的特质最常见的nn.ReLU 第二个常用的nn.Sigmoid以上输入只需要给出batch，其他不做要求inplace: 是否改变原来的值，为True改变，False不改变 ReLU代码import torchfrom torch import nnfrom torch.nn im...
2022-05-01 14:30:11
381
原创 （六）神经网络-最大池化（下采样）的使用
【声明】来源b站视频小土堆PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】_哔哩哔哩_bilibilinn.MaxPool2d参数nn.MaxPool2d(kernel_size, stride=None, padding=0, dilation=1, return_indices=False, ceil_mode=False)如果padding不是0，会在输入的每一边添加相应数目0 比如padding=1，则在每一边分别补0. kernel_size(int or tup
2022-04-30 22:20:53
1725
原创 （五）神经网络-卷积层
【声明】来源于b站视频小土堆PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】_哔哩哔哩_bilibilinn.Conv2d参数torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True，padding——mode='zeros')前5个比较常用kernel_size卷积核卷积核的大小是自己设置的，卷积核的每个
2022-04-30 19:08:26
442
原创 （四）卷积操作
从左到右，从上到下import torchinput = torch.tensor([[1,2,0,3,1], [0,1,2,3,1], [1,2,1,0,0], [5,2,3,1,1], [2,1,0,1,1]])kernel = torch.tensor([[1,2,1], .
2022-04-29 20:51:18
286
原创 （三）神经网络的基本骨架-nn.Module的使用
输入送到神经网络，经过forward处理，得到输出import torchfrom torch import nnclass Model (nn.Module):#Model继承Module def __init__(self): super().__init__() #forward里面进行的运算就是对输入加1 def forward(self,input): #self就是这个类Model，input输入 output =
2022-04-29 19:19:04
937
原创 （二）DataLoader
import torchvisionfrom torch.utils.data import DataLoader#准备的测试数据集test_data = torchvision.datasets.CIFAR10("./data",train=False,transform=torchvision.transforms.ToTensor())test_loader = DataLoader (dataset=test_data, batch_.
2022-04-29 16:50:35
336
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人