【论文阅读】CompletionFormer:深度完成与卷积和视觉变压器

最新推荐文章于 2024-06-06 11:50:05 发布
最新推荐文章于 2024-06-06 11:50:05 发布
阅读量936 收藏 18
点赞数 29
文章标签： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/w_zyth/article/details/137437788
版权

【论文阅读】CompletionFormer:深度完成与卷积和视觉变压器

文章目录


CompletionFormer: Depth Completion with Convolutions and Vision Transformers

  
给定稀疏深度和相应的RGB图像，深度补全旨在将稀疏测量值在整个图像中进行空间传播，以获得密集的深度预测

尽管基于深度学习的深度补全方法取得了巨大的进步，但卷积层或图模型的局部性使得网络难以对像素之间的长期关系进行建模

  

虽然最近完全基于transformer的体系结构在全局接受场方面取得了令人鼓舞的结果，但由于其局部特征细节的恶化，与发达的CNN模型相比，性能和效率差距仍然存在

  

但由于其局部特征细节的恶化，与发达的CNN模型相比，性能和效率差距仍然存在

联合卷积注意和变形块(Joint Convolutional Attention and Transformer block, JCAT)

  

作为构建金字塔结构深度补全模型的基本单元

在室外KITTI深度 和 室内NYUv2数据集

  

一、介绍

主动深度传感在性能上取得了显著的进步，并在自动驾驶和增强现实等众多应用中展示了其实用性
  
雷达传感器的扫描线数量有限，有效/正确深度点之间的距离仍然可能很远

深度补全技术[2,16,26,31]近年来受到了广泛关注，其目标是通过稀疏深度测量和相应的RGB图像(即RGBD)补全和重建整个深度图
  

对于深度补全，一个关键是获得相邻像素之间的深度亲和力，以便将可靠的深度标签传播到周围环境

稀疏深度可能由于噪声甚至深度传感器没有返回测量值而高度稀疏

  

所有这些属性都要求网络具有捕获像素之间局部和全局相关性的潜力。

目前的深度补全网络通过广泛使用的卷积神经网络(cnn)或图神经网络来收集上下文信息

  

GuideFormer采用了完全基于transformer的架构来实现全局推理

尽管可靠的深度点可以分布在任何距离上，但探索这两种不同范例(即cnn和Transformer)的优雅集成还没有实现

  
提出CompletionFormer，这是一种金字塔结构，将基于cnn的局部特征与基于transformer的全局表示相结合

  

面临两个缺口:

  • RGB和深度输入之间的内容缺口
  • convolution和Transformer之间的语义差距

  

我们建议在网络早期嵌入RGB和深度信息

并且可以在整个网络中聚合多模态信息。考虑到卷积和Transformer的融合，以往的工作从几个不同的角度对图像分类和目标检测进行了探索
  

我们将卷积注意和Transformer纳入一个块中，并将其作为基本单元来构建我们的多尺度网络

使Transformer层更加轻量级。对于与卷积相关的部分，常见的选择是使用普通卷积，如倒残差块

卷积和Transformer之间巨大的语义差距以及Transformer丢失的局部细节要求卷积层增加自己的容量来补偿它。根据这一原理，我们进一步引入空间和通道注意来增强卷积

  
信息交换和融合有效地发生在我们的网络的每一个块

  
贡献：

  • 我们建议将视觉转换器与卷积注意层集成到一个块中进行深度补全
  • 引入了一个单分支网络结构，即CompletionFormer
  • 与纯基于Transformer的方法相比，效率显着提高
  • CompletionFormer在深度补全方面有了很大的改进，特别是在实际应用中经常出现的深度非常稀疏的情况

  
我们模型的深度为 3，3，4，1 的11层结构，在补全深度上应该具有很好的效果

  

二、联系工作

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

  

深度完成

随着有源深度传感器的出现，场景深度补全已成为计算机视觉中的一项基本任务

全卷积网络已经成为当前最先进的深度完成的原型架构

在监督或自监督框架内预测密集输出。为了保持给定稀疏深度下的准确测量值，并对最终深度图进行细化

但性能受到卷积U-Net骨干网容量的限制

  

增强了U-Net骨干网对本地和全局连贯上下文信息的表达能力，证明在提高性能方面是有效的

  

Vision Transformer

Transformer 首先被引入到自然语言处理中

语义分割等领域也显示出巨大的潜力

而是探索将Transformer和convolution结合到一个block中进行深度补全

  

同时使用卷积和Vision Transformer的MPViT[12]和CMT[6])相比，

我们提出的联合卷积关注和Transformer块在公共基准测试中实现了更高的效率和性能
  

三、方法

我们的目标是在深度补全任务中引入局部特征和全局上下文信息，以便从任何距离收集可靠的深度提示

使用我们的JCAT块构建的主干进行多尺度特征提取，解码器提供全分辨率特征用于初始深度预测
    

在这里插入图片描述
  

RGB and Depth Embedding

多模态信息融合具有以下几个优点:

  • 使每个像素的特征向量同时具有RGB和深度信息，使得深度无效的像素仍然有机会通过可靠的深度测量根据外观相似性进行校正
  • 以下网络只需要一个分支，实现效率高。因此，我们首先使用两个单独的卷积对输入的稀疏深度图S和RGB图像i进行编码，输出经过另一个卷积层连接并进一步处理，得到包含两个源内容的原始特征

  

联合卷积注意与变压器编码器

如何在像素之间建立连接来实现可靠像素的深度传播，同时避免不正确的像素，已经得到了广泛的研究

基于注意力的图传播已成为这一目的的主要操作

  

MPViT和CMT是自注意与卷积相结合的两种具有代表性的最先进网络

利用空间和通道的关注增强了基于卷积的路径的表示能力

  
联合卷积注意与变形块

我们的JCAT块可以以并行或级联的方式组织

在这里插入图片描述

它包含一个具有多头机制的空间减少注意(SRA)层和一个前馈层(FNN)

  

允许不同尺度的特征表示有效地相互通信。

在第一阶段，为了降低Transformer层带来的计算成本和内存开销，我们使用ResNet34中的一系列BasicBlocks进行处理

在接下来的四个阶段，我们将介绍我们提出的JCA T块作为框架设计的基本单元

  

给定来自补丁嵌入模块或最后一个联合块的输入特征F∈R Hi×Wi×C(第i阶段特征的高度和宽度分别为Hi和Wi

一步减小K和V的空间尺度以减少内存消耗，然后进行自注意:
  

在这里插入图片描述

  

SPN的细化和损失函数

考虑到稀疏输入经过U-Net后可能不能很好地保留准确的深度值，空间传播网络已成为最终细化的标准操作

增强的U-Net骨干网，网络能够提供良好的深度亲和力

  

针对cspn++消耗较多的计算成本，我们采用非局部空间传播网络[进行进一步细化

在这里插入图片描述

d表示原始深度的保留程度

  

解码器还输出亲和矩阵w，并由解码器预测的置信度映射进行调制，以防止不太自信的像素传播到邻居中，无论亲和度有多大

采用L1和L2联合损失来监督网络训练

  
在这里插入图片描述

  

四、实验结果

  
NYUv2数据集:

  • 在464个室内场景中捕获的RGB和深度图像组成
  • 按照之前深度补全方法的类似设置
  • 训练集中均匀采样的50,000张图像上进行训练
  • 测试集中的654张图像上进行测试以进行评

  

KITTI深度补全(DC)数据集:

  • 包含86 898个训练数据，其中1 000个用于验证，1 000个用于无ground truth的测试
  • V elodyne HDL-64e获得的原始深度图是稀疏的，大约覆盖5.9%像素
  • 密集的地面真相是通过将11个连续时间帧的激光雷达扫描收集到一个帧中生成的，产生了近30%的注释像素

  
在这里插入图片描述

川川子溢
关注
  • 29
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
深度学习利器：TensorFlow与深度卷积神经网络
02-25
图像识别技术越来越多地渗透到我们的日常生活中，人可以很快递判别图像类型，比如，很容易地识别一个图片是狮子还是其它动物，可以很容易地对人脸进行识别。但是对于机器来说，去识别一个图片是什么，是一个非常困难的问题。但在过去的几年中，图像识别技术取得了巨大的进展，在一些固定领域可以达到，甚至超越人类的识别精度，该技术称为深度卷积神经网络（DeepConvolutionalNeuralNetwork）。目前，学术界主要通过ImageNet的Benchmark问题，去验证图像识别技术的发展程度，卷积神经网络模型包括：QuocNet,AlexNet,Inception(GoogLeNet),BN-Incep
卷积神经网络：深度学习的视觉革命.zip
05-03
卷积神经网络作为深度学习的重要分支之一，已经在计算机视觉领域取得了广泛的应用和卓越的成果。未来，随着技术的不断发展和创新，卷积神经网络将会迎来更多的挑战和机遇。我们期待着看到更加高效、鲁棒、可解释的卷积神经网络模型的出现，以及更加广泛的应用场景和解决方案的实现。同时，我们也相信在人工智能技术的推动下，卷积神经网络将会为人类社会的发展和进步做出更大的贡献。
深度学习与卷积神经网络
02-25
本文来自于个人微博，本文通过几种比较流行的卷积神经网络的结构图，简单的介绍了卷积审计网络的定义。简单来说，卷积(或内积)就是一种先把对应位置相乘然后再把结果相加的运算。(具体含义或者数学公式可以查阅相关资料)如下图就表示卷积的运算过程：（图1）卷积运算一个重要的特点就是，通过卷积运算，可以使原信号特征增强，并且降低噪音.这里以常用的激活函数sigmoid为例：把上述的计算结果269带入此公式，得出f(x)=1如图是一个人工神经元的模型：（图2）对于每一个神经元，都包含以下几部分：x:表示输入w:表示权重θ:表示偏置∑wx:表示卷积(内积)f:表示激活函数o:表示输出对于一个灰度图片(图3)用s
基于 Python中的深度学习：神经网络与卷积神经网络
Why_does_it_work的博客
10-29 8037
深度学习是机器学习的一个分支，通过建立和训练深层神经网络来实现对数据的高级抽象和学习能力。它利用多个处理层级的神经网络模型，实现了从低级特征到高级抽象的逐步提取和学习。深度学习在计算机视觉、自然语言处理、语音识别、人工智能等领域取得了令人瞩目的成果。
深度可分离卷积（DepthwiseSeparableConvolution）：Depthwise卷积与Pointwise卷积
xu.hyj
07-24 8342
深度可分离卷积不用多说，在轻量级网络架构方面是一个绕不开的话题，只要接触深度学习多多少少会接触。深度可分离卷积即DepthwiseSeparableConvolution，该卷积将一个常规卷积过程划分成两个完成Depthwise卷积和Pointwise卷积，在保证输出一样时，计算量大大降低。首先来看，一个常规卷积是怎么实现的。其示意图如果我们从通道数变换的角度来看，卷积就是将3通道的tensor变为了4通道的tensor，我们来看看深度可分离卷积是怎么实现通道的变化的。...
学习笔记：深度学习（3）——卷积神经网络（CNN）理论篇
热门推荐
Morganfs的博客
04-12 9万+
深度学习笔记——CNN卷积神经网络理论篇。主要包括CNN的概念、基本原理、类型综述。算是比较完善的一篇文章了。
深入探究深度学习、神经网络与卷积神经网络以及它们在多个领域中的应用
dvlinker的技术专栏
10-25 2万+
深入探究深度学习、神经网络与卷积神经网络以及它们在多个领域中的应用
标准卷积、深度可分离卷积与GSConv，YOLOv8引入SlimNeck
weixin_53895623的博客
12-26 5368
本文介绍了标准卷积、深度可分离卷积以及paper中的GSConv，分析了它们的性能优劣，并简要介绍了如何将VoVGSP和GSConv引入YOLOv8
深入浅出理解深度可分离卷积（Depthwise Separable Convolution）
IT菜鸟
11-02 1万+
深入浅出理解深度可分离卷积（Depthwise Separable Convolution）
深度学习：图像的卷积原理和本质（详解）。
Vertira的博客
02-16 1万+
首先，介绍图像卷积的计算过程。 在计算机视觉领域，卷积核、滤波器通常为较小尺寸的矩阵，比如3×33×3、5×55×5等，数字图像是相对较大尺寸的2维（多维）矩阵（张量），图像卷积运算与相关运算的关系如下图所示，其中FF为滤波器，XX为图像，OO为结果。 图1 图像卷积算子 以上便是图像卷积的某一次简单操作。 但是为什么用这样的方式呢？这种方式的起源来自哪里？ 说到起源，大家是否能想起与上图运算方式相似的图像算法？sobel算子，对这是一个图像的边缘检测算法。 来看一看sobel边缘检测算..
pytorch技巧 二： 深度可分离卷积
qq_40788447的博客
01-29 1万+
pytorch技巧 二： 深度可分离 1. torchviz 第一步：安装graphviz, 网上教程很多，也可以点这里。 注意记得配置环境变量。 第二步：安装torchviz,打开终端输入pip install torchviz 第三步：使用 import torch from torchviz import make_dot class MLP(torch.nn.Module): def __init__(self): super(MLP, self).__init__()
论文阅读 Explainable Image Similarity Integrating Siamese Networks and Grad-CAM
what_how_why2020的博客
06-03 682
给出论文（Explainable Image Similarity Integrating Siamese Networks and Grad-CAM）的内容解读、代码运行说明。
U-Net: Convolutional Networks for Biomedical Image Segmentation--论文笔记
dezwb的博客
06-04 907
人们普遍认为，深度网络的成功训练需要数千个带注释的训练样本。在本文中，我们提出了一种网络和训练策略，该策略依赖于数据增强的强大使用，以更有效地使用可用的注释样本。该体系结构包括捕获上下文的收缩路径和支持精确定位的对称扩展路径。我们表明，这样的网络可以从很少的图像中进行端到端训练，并且在ISBI挑战中优于先前的最佳方法(滑动窗口卷积网络)，以分割电子显微镜堆栈中的神经元结构。使用在透射光显微镜图像(相位对比和DIC)上训练的相同网络，我们在这些类别中以很大的优势赢得了2015年ISBI细胞跟踪挑战赛。
[论文阅读] ZeRo
天下月色共三分的博客
06-04 265
zero主要用于数据并行对于大模型来说，内存主要用来保存模型状态，主要有半精度训练：模型某层的w，和层的输入输出，都使用fp16例如，Wx = y ，这三者都是fp16但是有一个问题，fp16通常精度不够，加着加着就炸了，或者，太小的情况一直加都是0。这个情况在累积权重（不断把梯度的东西加进来）的时候会出现，所以如果权重也是fp16的话，可能加半天都加不动。所以权重更新使用fp32，也即是权重还有一个fp32的copy，作梯度更新的时候使用fp32，然后转成fp16，再参与前向后向计算。
Attention Is All You Need--论文笔记
dezwb的博客
06-03 885
主要的序列转导模型是基于复杂的RNN（循环神经网络）或CNN（卷积神经网络），一个编码器和一个解码器。表现最好的模型还通过注意机制连接的编码器和解码器。我们提出了一个新的简单的网络架构，Transformer，完全基于注意力机制，完全摒弃循环和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上更优越，同时更具并行性，并且需要更少的训练时间。我们的模型在WMT 2014英语-德语翻译任务上实现了28.4 BLEU，比现有的最佳结果(包括集合)提高了2个BLEU以上。
Fully Convolutional Networks for Semantic Segmentation--论文笔记
dezwb的博客
05-31 1129
卷积网络是强大的视觉模型，可以产生特征层次结构。我们表明，卷积网络本身，经过端到端，像素对像素的训练，在语义分割方面超过了最先进的技术。我们的关键见解是建立“完全卷积”网络，该网络可以接受任意大小的输入，并通过有效的推理和学习产生相应大小的输出。我们定义和详细描述了全卷积网络的空间，解释了它们在空间密集预测任务中的应用，并绘制了与先前模型的连接。我们将当代分类网络(AlexNet ， VGG网络和GoogLeNet)改编为全卷积网络，并通过微调将其学习到的表征转移到分割任务中。
论文阅读《SELECTIVE DOMAIN-INVARIANT FEATURE FOR GENERALIZABLE DEEPFAKEDETECTION》
weixin_56180495的博客
06-03 494
其中N表示域的数量，也就是不同的操作方法所生成的伪造样本，x表示训练集的样本，y表示对应的标签，Yn表示独热编码，G表示内容特征生成器，D表示域鉴别器，为了同步优化G和D，梯度反转层被用于反向传播中用于翻转梯度。采用最远样本采样来采样不同风格的样本点，从N个个种类的全部样本点中，迭代选择C个样本点，以此避免真假样本相互作用。做法：使得所有得样本点尽可能得远，因此样本分离and不统一，多样性域感知模块，用于融合内容特征和风格特征在高位特征感知任务中嵌入域知识。，提高模型的特征提取能力的泛化和有效性。
论文阅读 A Distributional Framework for Data Valuation
最新发布
what_how_why2020的博客
06-06 624
本论文解决的问题量化数据价值（机器学习模型训练中各个数据点的贡献）避免数据价值受到其所处数据集的影响，使数据点的估值更加稳定、一致。
用深度可分离卷积和传统卷积的区别
04-18
深度可分离卷积和传统卷积是两种不同的卷积操作方法，它们在计算效率和模型参数量上有所不同。 传统卷积是指在进行卷积操作时，同时对输入的每个通道进行卷积计算。这意味着每个通道都需要独立的卷积核进行计算，因此参数量较大。传统卷积在计算过程中会产生大量的冗余计算，尤其是在输入通道较多的情况下。 而深度可分离卷积则是将传统卷积分解为两个步骤：深度卷积和逐点卷积。首先，深度卷积（Depthwise Convolution）对输入的每个通道进行独立的卷积计算，但是使用的卷积核是一个3x3的小卷积核，这样可以减少参数量。然后，逐点卷积（Pointwise Convolution）使用1x1的卷积核对深度卷积的结果进行线性组合，以获得最终的输出特征图。逐点卷积主要用于将不同通道之间的特征进行组合和调整。 深度可分离卷积相对于传统卷积的优势在于： 1. 参数量减少：深度可分离卷积通过使用较小的卷积核和逐点卷积，大大减少了模型的参数量，从而减少了计算和存储的开销。 2. 计算效率提高：深度可分离卷积在计算过程中减少了冗余计算，因此相对于传统卷积具有更高的计算效率。 3. 模型轻量化：由于参数量减少，深度可分离卷积可以用于轻量化的模型设计，适用于移动设备等资源受限的场景。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值