引导方法深度补全系列—基于SPN模型—5—《Dynamic spatial propagation network for depth completion》文章细读

已于 2022-09-13 00:02:35 修改
阅读量825 收藏 2
点赞数
文章标签： 深度学习 人工智能 计算机视觉 神经网络
于 2022-09-12 02:47:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CSPNNN/article/details/126812122
版权

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

创新点

1.提出了动态空间传播网络，一种非线性传播模型，动态调整亲和力权重

*2.扩散抑制操作，防止迭代过拟合造成深度过于平滑

文章概述

1. 我们提出的动态空间传播网络（dynamicspatialpropagationnetwork，dypn）利用了非线性传播模型（NLPM）。它将邻域分解为关于不同距离的部分，并递归地生成独立的注意力图，以将这些部分细化为自适应亲和矩阵。在传播开始时，远邻域提供长距离信息填充初始深度图的空洞并快速平滑。随着深度图变得更密集，近邻更加关注边缘保持。注意力机制根据每个传播阶段调整亲和矩阵，使过程更加准确和高效

2.扩散抑制（DS）操作，使模型在早期收敛，以防止密集深度的过度平滑。

3. 模型三种实现配置在保持相似精度的同时，减少了所需的邻居数量和注意事项。

网络结构

       使用ResNet34-Unet生成初始深度图、亲和矩阵、一系列空间和顺序注意力图，也就是Kt调整扩散过程。注意力图分为六个部分，并在6步传播过程中应用于Dysn模块。

方法详解

新的扩散过程的推导：

 Kt是全局注意力矩阵，有了Kt模型才被称为非线性模型

三种变体

文章提到的对于基本结构的三种变体

1.领域分为四部分分别调整，每一圈的权重是相关的，参数数量成倍

2.减少领域像素获得相同的感受野，进一步减少参数数量

3.使用了可变形的领域并在感受野和领域像素数量取折中

这三种模型变体的作用是减少计算成本

总结

文章为了解决当时文章的局限性提出的创新型方法，当时的问题有：

SPN方法的问题

       1.固定亲和度的表示限制

        2.迭代过程中过于平滑

CSPN

       亲和矩阵权重分布在距离上，意思是密集深度图靠亲和矩阵刷新像素及邻域的深度值，但并不能表示像素和其领域的关系

白纸一样的白
关注
【深度补全最新综述】Deep Depth Completion from Extremely Sparse Data: A Survey
梁瑛平的博客
08-28 709
深度补全旨在从深度传感器（例如 LiDAR）捕获的极度稀疏的深度图中预测密集的逐像素深度。这在自动驾驶、3D 重建、增强现实和机器人导航等各种应用中起着至关重要的作用。近年来，基于深度学习的解决方案在该任务中取得了显著成功，并主导了这一领域的发展趋势。本文首次提供了全面的文献综述，帮助读者更好地把握研究趋势，并清晰地了解当前的进展。我们从网络架构、损失函数、基准数据集和学习策略的设计角度对相关研究进行了调查，并提出了一种新颖的分类方法来对现有方法进行分类。
【CVPR‘23】BEV@DC: 用 BEV 视角来辅助深度补全，Bird’s-Eye View Assisted Training for Depth Completion
梁瑛平的博客
09-01 491
深度补全在自动驾驶中起着至关重要的作用，其中相机和 LiDAR 是两种互补的传感器。近年来的方法尝试利用隐藏在 LiDAR 中的空间几何约束来增强图像引导的深度补全。然而，这些方法通常效率低下且泛化能力较差。在本文中，我们提出了一种更高效且功能强大的多模态训练方案 BEV@DC，以提升图像引导的深度补全性能。在实际应用中，所提出的 BEV@DC 模型在训练中充分利用了 LiDAR 的丰富几何细节，并在推理时采用一种增强的深度补全方式，仅需输入图像（RGB 和深度）。
Python-空间传播网络SPN目标分割论文演示代码
08-09
空间传播网络(SPN)目标分割论文演示代码
引导方法深度补全系列—基于SPN模型—3—《Non-local spatial propagation network for depth completion》文章细读
CSPNNN的博客
09-12 886
创新点 1.CSDN使用固定局部邻域，固定的局部邻域通常具有不应与参考信息混合的无关信息，尤其是在深度边界上。NLSPN预测像素的非局部邻域. 2.预测初始密集深度的置信度纳入亲和度归一化，归一化是为了减少误差，加入置信度为了指导预测值
引导方法深度补全系列—基于SPN模型—1—《Depth estimation via affinity learned with convolutional spatial propagat》文章细读
CSPNNN的博客
09-12 625
文章贡献我们将所设计的CSPN应用于给定单个图像的两个深度估计任务：（1）优化现有最先进方法（SOTA）的深度输出；（2）通过在传播过程中嵌入深度样本，将稀疏深度样本转换为密集深度贴图。
SPN：通过空间传播网络学习关联
sinoai
01-07 1474
原文 摘要 本文提出通过空间传播网络学习关联矩阵用于视觉任务。 1引言 关联矩阵就是一个一般的矩阵，可以描述空间中两个点有多么近或者多么相似。在计算机视觉任务中，它是一个带权图，每个像素是一个结点，每两个像素间有一条边，参见论文1、论文2、论文3、论文4、论文5。权重应该针对不同的任务反映像素对间的相似性。比如对于图像滤波这样的低级任务，关联值应该反映颜色和纹理的低级相关性。中高级任务，如...
论文阅读笔记二十三：Learning to Segment Instances in Videos with Spatial Propagation Network（CVPR2017）...
weixin_33795093的博客
12-04 149
论文源址：https://arxiv.org/abs/1709.04609 摘要 该文提出了基于深度学习的实例分割框架，主要分为三步，（1）训练一个基于ResNet-101的通用模型，用于分割图像中的前景和背景。（2）将通用模型进行微调成为一个实例分割模型，借助于视频第一帧的标签文件对不同个体进行实例分割。同时，从实例分割模型中得到每一个物体的像素级score map。每张sc...
深度补全 论文及代码汇总，持续更新中~~
不忘初心~
03-14 2138
depth completion
【CVPR 2023】BEV@DC: 用 BEV 视角来辅助深度补全，Bird’s-Eye View Assisted Training for Depth Completion
最新发布
2401_87064292的博客
09-02 362
深度补全在自动驾驶中起着至关重要的作用，其中相机和 LiDAR 是两种互补的传感器。近年来的方法尝试利用隐藏在 LiDAR 中的空间几何约束来增强图像引导的深度补全。然而，这些方法通常效率低下且泛化能力较差。在本文中，我们提出了一种更高效且功能强大的多模态训练方案 BEV@DC，以提升图像引导的深度补全性能。在实际应用中，所提出的 BEV@DC 模型在训练中充分利用了 LiDAR 的丰富几何细节，并在推理时采用一种增强的深度补全方式，仅需输入图像（RGB 和深度）。
python基于wikipedia数据的装备领域文本抽取与知识图谱构建-SPN模型部分.zip
10-12
python基于wikipedia数据的装备领域文本抽取与知识图谱构建-SPN模型部分.zippython基于wikipedia数据的装备领域文本抽取与知识图谱构建-SPN模型部分.zippython基于wikipedia数据的装备领域文本抽取与知识图谱构建-...
Python-SPNLearningAffinityviaSpatialPropagationNetworks
08-11
SPN：Learning Affinity via Spatial Propagation Networks
NLSPN_ECCV20:Park等人，“用于完成深度的非本地空间传播网络”，ECCV，2020年
05-25
深度完成的非局部空间传播网络 ， ， ，Chi Chi-Kuii和In So Kweon 2020年8月，欧洲计算机视觉会议（ECCV） 消息 2021年1月：解决了信心问题。 有关详细信息，请参阅 。 2020年12月：2020年 2020年10月：发布了预训练的模型。 请参考。 介绍 在本文中，我们提出了一个健壮且高效的端到端非本地空间传播网络来进行深度完成。 拟议的网络将RGB和稀疏深度图像作为输入，并估计每个像素的非本地邻居及其亲和性，以及带有像素方向置信度的初始深度图。 然后，基于预测的非本地邻居和相应的亲和力，通过其置信度和非本地空间传播过程来迭代完善初始深度预测。 与以前的利用固定本地邻居的算法不同，该算法有效地避免了无关的本地邻居，并在传播过程中专注于相关的非本地邻居。 此外，我们引入了可学习的亲和力归一化方法，以比传统方法更好地学习亲和力组合。 所提出的算法对深
深度补全延伸系列——1——SPN
CSPNNN的博客
09-12 2193
空间传播网络（SPN）是一个通用框架，可应用于许多与亲和力相关的任务。亲和矩阵是一种通用矩阵，用于确定空间中两点的接近程度或相似程度。在计算机视觉任务中，它是一个加权图，将每个像素视为一个节点，并通过一条边连接每对像素。该边上的权重应反映不同任务的成对相似性。学习亲和矩阵的问题可以等价地表示为学习一组小的行/列方向的空间变化线性变换矩阵。空间传播网络（SPN），包含一个学习亲和实体的深度CNN和一个空间线性传播模块。
【论文简述】Edge-Aware Spatial Propagation Network for Multi-view Depth Estimation（NPL 2023）
qq_43307074的博客
12-13 1061
【论文简述】Edge-Aware Spatial Propagation Network for Multi-view Depth Estimation（NPL 2023）
Learning to Segment Instances in Videos with Spatial Propagation Network
weixin_42640840的博客
11-22 699
Learning to Segment Instances in Videos with Spatial Propagation Network Jingchun Cheng　　Sifei Liu　　 Yi-Hsuan Tsai　　 Wei-Chih Hung　　 Shalini De Mello 　　　　　　Jinwei Gu 　　Jan Kautz 　　　Shengjin Wang 　　　Mi...
论文阅读 Learning Affinity via Spatial Propagation Networks
共勉，我的学习日记
12-14 6979
abstract 通过一个空间传播网络来学习affinity matrix来用于vision tasks实验证明构造一个线性传播模型空间上变换的affinity matrix可以用来建模图像密集和全局相似性本文创建了一个three-way 连接的线性传播模型该模型构造了一个所有元素均来自于DCNN的稀疏传播矩阵同时创造了一个能用来建模任意特定任务的密集近邻矩阵本文用data-driven manne
论文解读 Learning Depth with Convolutional Spatial Propagation Network
DeH40的博客
12-22 3636
Learning Depth with Convolutional Spatial Propagation Network 这篇论文里提出的网络是目前KITTI2015排行榜一，作者提出的CSPN既可以用于深度预测也可以用于深度图补全。 本文在Spatial Propagation Networks(SPN)的基础上提出了Convolutional Spatial Propagation Netw...
论文笔记-Depth Estimation via Affinity Learned with Convolutional Spatial Propagation Network
kingsleyluoxin的博客
08-26 1104
论文信息 标题： Depth Estimation via Affinity Learned with Convolutional Spatial Propagation Network 作者：Xinjing Cheng, Peng Wang, Ruigang Yang 机构：百度研究院 出处：ECCV 2018 代码链接 https://github.com/XinJCheng/CSPN 论文主要贡献 提出 CSPN 模块，比起 SOTA 的传播策略，能够高效、精确地进行深度估计 将..
每天一篇论文 273/365 Learning Depth with Convolutional SpatialPropagation Network
流浪机器人的博客
11-28 905
卷积空间传播网络学习深度 原文 Code SPN网络 摘要 本文提出了卷积空间传播网络（CSPN），并证明了其在各种深度估计任务中的有效性。CSPN是一种简单而有效的线性传播模型，它利用递归卷积运算的amanner进行传播，通过一个深卷积神经网络（CNN）学习相邻像素之间的亲和力。与以往的最新线性传播模型（SPN）相比，CSPN在实际应用中要快2～5倍。将CSPN及其变体连接到SOTA深度估计网络...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值