引导方法深度补全系列—基于SPN模型—2—《CSPN++: Learning Context and Resource Aware Convolutional Spatial Propagat》文章细

已于 2022-09-13 00:03:58 修改
阅读量1k 收藏 2
点赞数
文章标签： 计算机视觉 神经网络 人工智能 深度学习
于 2022-09-12 02:35:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CSPNNN/article/details/126812090
版权
本文介绍了一种基于CSPN的深度学习模型CSPN++，它通过引入自适应卷积核大小和传播迭代次数预测，实现了对每个像素的资源智能分配。网络结构上，CSPN++优化了粗深度图处理过程，并嵌入门控网络以提高性能。文章核心在于上下文感知和资源敏感的深度估计，提升了计算效率和精度。
摘要由CSDN通过智能技术生成

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

目录

创新点

网络结构

总结

创新点

1.引入其他参数预测（自适应卷积核大小，传播迭代次数）每个像素的适当配置来增强CSPN

2.加入了资源估计的触发器（可能检测一下设备的gpu），根据给定的设备调整参数，例如卷积核的大小

（ps：这篇论文和CSPN是同一个作者，，改进也是基于CSPN改进的）

文章贡献

1.学习自适应卷积核大小=》预测一个参数加权卷积核大小；和传播迭代次数=》同上

       从而可以根据请求动态分配每个像素所需的上下文和计算资源。具体地说，我们将两个超参数的学习描述为一个架构选择问题，其中首先定义内核大小和迭代次数的各种配置，然后训练一组软加权参数，以便在每个像素处正确组装或从预定义配置中选择。

CSPN++所需的资源可以根据计算预算自动调整。最后，为了避免噪声或不准确的稀疏深度的副作用，我们在CSPN++中嵌入了一个门控网络，进一步提高了性能。

上下文和资源感知CSPN

         定义核大小和迭代次数的各种配置，然后训练一组软加权参数，以便在每个像素处正确组合或从预定义配置中选择。

加权组装的CSPN为上下文感知CSPN，加权选择的CSPN称为资源感知CSPN

 

网络结构

前半段和之前一样，主要变化在于粗深度图精细的过程

总结

这篇和CSPN结合看

白纸一样的白
关注
论文笔记_S2D.74_2021_ICRA_PENet：面向精确和高效的图像引导的深度补全
惊鸿一博
11-02 1168
目录 基本情况 摘要 I. 引言 II. 相关工作 III. 方法 IV. 实验结果 V. 总结 参考 基本情况 出处：Hu M, Wang S, Li B, et al. Towards Precise and Efficient Image Guided Depth Completion[J]. arXiv e-prints, 2021: arXiv: 2103.00783. 单位： 浙江大学，College of Information Science and Electroni
【深度补全最新综述】Deep Depth Completion from Extremely Sparse Data: A Survey
梁瑛平的博客
08-28 771
深度补全旨在从深度传感器（例如 LiDAR）捕获的极度稀疏的深度图中预测密集的逐像素深度。这在自动驾驶、3D 重建、增强现实和机器人导航等各种应用中起着至关重要的作用。近年来，基于深度学习的解决方案在该任务中取得了显著成功，并主导了这一领域的发展趋势。本文首次提供了全面的文献综述，帮助读者更好地把握研究趋势，并清晰地了解当前的进展。我们从网络架构、损失函数、基准数据集和学习策略的设计角度对相关研究进行了调查，并提出了一种新颖的分类方法来对现有方法进行分类。
2022最新综述！稀疏数据下的深度图补全（深度学习/非引导/RGB引导）
CV_Autobot的博客
11-09 3341
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【深度估计】技术交流群后台回复【领域综述】获取自动驾驶全栈近80篇综述论文！论文：Deep Depth Completion from Extremely Sparse Data: A Survey摘要获取正确的像素级场景深度在各种任务中发挥着重要作用，如场景理解、自动驾驶、机器人导航、同时定位和建图、智能农业...
利用cspn进行深度补全
weixin_42581003的博客
02-16 532
CSPN(Conditional Similarity Network)是一种用于深度补全的神经网络模型。它可以通过给出一些已知的深度信息，如深度图或点云，来预测未知区域的深度信息。 CSPN 的主要思想是通过计算相似性来进行深度预测。具体来说，它通过在已知深度值的点周围建立相似性函数来估计未知区域的深度。这个相似性函数考虑了已知点的位置和深度信息，以及未知点与已知点之间的距离和方向关系。通过优化...
CSPN
sinoai
12-21 3490
原文 提出卷积空间传播网络(CSPN)为深度估计学习关联矩阵。具体来说就是，采用一个线性传播模型以循环卷积的形式传播，DCNN学习临近像素间的关联关系。 深度估计提升性能的方法有： 使用更好的网络(如VGG、ResNet)估计全局场景布局和尺度。 通过反卷积、跳跃连接、反投影更好地恢复局部纹理。 我们提出的CSPN中，每个像素的深度值在一个卷积上下文中同时更新。这个长程上下文(long r...
引导方法深度补全系列—基于SPN模型—1—《Depth estimation via affinity learned with convolutional spatial propagat》文章细读
CSPNNN的博客
09-12 641
文章贡献我们将所设计的CSPN应用于给定单个图像的两个深度估计任务：（1）优化现有最先进方法（SOTA）的深度输出；（2）通过在传播过程中嵌入深度样本，将稀疏深度样本转换为密集深度贴图。
论文解读 Learning Depth with Convolutional Spatial Propagation Network
DeH40的博客
12-22 3662
Learning Depth with Convolutional Spatial Propagation Network 这篇论文里提出的网络是目前KITTI2015排行榜一，作者提出的CSPN既可以用于深度预测也可以用于深度图补全。 本文在Spatial Propagation Networks(SPN)的基础上提出了Convolutional Spatial Propagation Netw...
【CVPR‘23】CompletionFormer：用于深度补全的 Transformer 网络！已开源
梁瑛平的博客
08-28 253
CompletionFormer 结合卷积神经网络（CNN）和 Vision Transformer，提出了一种联合卷积注意力和 Transformer 块（JCAT），用于深度补全任务。该方法将卷积的局部连接性和 Transformer 的全局上下文结合到一个单一模型中，从而在户外 KITTI 和室内 NYUv2 数据集上超越了现有的基于 CNN 的方法，并在效率上显著优于纯 Transformer 方法。
【CVPR‘23】BEV@DC: 用 BEV 视角来辅助深度补全，Bird’s-Eye View Assisted Training for Depth Completion
最新发布
梁瑛平的博客
09-01 529
深度补全在自动驾驶中起着至关重要的作用，其中相机和 LiDAR 是两种互补的传感器。近年来的方法尝试利用隐藏在 LiDAR 中的空间几何约束来增强图像引导的深度补全。然而，这些方法通常效率低下且泛化能力较差。在本文中，我们提出了一种更高效且功能强大的多模态训练方案 BEV@DC，以提升图像引导的深度补全性能。在实际应用中，所提出的 BEV@DC 模型在训练中充分利用了 LiDAR 的丰富几何细节，并在推理时采用一种增强的深度补全方式，仅需输入图像（RGB 和深度）。
深度补全 论文及代码汇总，持续更新中~~
不忘初心~
03-14 2211
depth completion
CSPN:卷积空间传播网络
05-25
卷积空间传播网络 程新京，王鹏，关晨烨，杨瑞刚 内容 介绍 此回购协议包含针对深度完成和立体深度估计而训练的CSPN模型，如“ ”和“”中所述 我们在这里提供两种实现。 首先，我们通过Pytorch实施了一个简单的2D CSPN，将“异地”和“转换”操作结合在一起。 然后，我们通过CUDA提供了更有效的2D / 3D CSPN实施，并将它们集成到PaddlePaddle中，从而更加稳定和易于使用。 引文 如果您在研究中使用此方法，请引用： @inproceedings{cheng2018depth, title={Depth estimation via affinity learned with convolutional spatial propagation network}, author={Cheng, Xinjing and Wang, Peng and Yang,
python基于wikipedia数据的装备领域文本抽取与知识图谱构建-SPN模型部分.zip
10-12
python基于wikipedia数据的装备领域文本抽取与知识图谱构建-SPN模型部分.zippython基于wikipedia数据的装备领域文本抽取与知识图谱构建-SPN模型部分.zippython基于wikipedia数据的装备领域文本抽取与知识图谱构建-...
论文笔记_S2D.17-2018-ECCV-通过卷积空间传播网络（CSPN）的相似性学习进行深度估计
惊鸿一博
09-14 1828
基本情况 题目：Depth Estimation via Affinity Learned with Convolutional Spatial Propagation Network 通过卷积空间传播网络进行相似性学习进行深度估计 作者：Xinjing Cheng⋆, Peng Wang⋆ and Ruigang Yang Baidu Research, Baidu Inc. 引用：Cheng, X., Wang, P., & Yang, R..
深度补全文章详读系列
CSPNNN的博客
09-18 1287
此篇博文为个人记录向，内容为多篇深度补全相关论文的半详读，即主要为论文的创新方法部分，既然为学习记录就可能有错误或者不全面的现象出现，希望大家发现后及时指出以便改正。方法分类主要参考这篇综述，系列博客以综述中总结的顺序为参考，顺序研读。深度补全分为两大类，下面将一一介绍相关任务。提示：以下是本篇文章正文内容，下面案例可供参考以上就是博客全部内容，再次提醒大家，如果发现错误务必指出，共同学习共同进步。
CSPN：Learning Depth with Convolutional Spatial Propagation Network阅读笔记
weixin_42954710的博客
11-15 4498
一、先阅读总结 源代码：link https://github.com/XinJCheng/CSPN 这篇论文是当前时间段立体匹配KITTI2015数据集榜单第一名，阅读后记录下来方便以后自己查阅。 这篇论文是从两个方面做的：depth completion（下图的上面部分） and stereo matching（下图的下面部分）。 首先，depth completion（深度完成）是单目复原三...
引导方法深度补全系列—基于SPN模型—3—《Non-local spatial propagation network for depth completion》文章细读
CSPNNN的博客
09-12 902
创新点 1.CSDN使用固定局部邻域，固定的局部邻域通常具有不应与参考信息混合的无关信息，尤其是在深度边界上。NLSPN预测像素的非局部邻域. 2.预测初始密集深度的置信度纳入亲和度归一化，归一化是为了减少误差，加入置信度为了指导预测值
引导方法深度补全系列—基于SPN模型—4—《Penet:Towards precise and efficient image guided depth completion》文章细读
CSPNNN的博客
09-12 749
1.双分支结构，并加速了CSPN++，此时使用这种方法为了精细融合后的深度图
引导方法深度补全系列—基于SPN模型—5—《Dynamic spatial propagation network for depth completion》文章细读
CSPNNN的博客
09-12 844
1.提出了动态空间传播网络，一种非线性传播模型，动态调整亲和力权重 *2.扩散抑制操作，防止迭代过拟合造成深度过于平滑
论文阅读 SPN和CSPN
路边的石头
08-30 3739
文章目录摘要介绍相关工作作者的方法Convolutional Spatial Propagation Network 摘要 我们提出了一种简单而有效的卷积空间传播网络（CSPN）学习深度预测的亲和矩阵. 具体来说，我们采用了一种有效的线性传播模型，其中传播使用循环卷积运算的方式执行，并且相邻像素之间的affinity通过深度卷积神经网络(CNN)学习 我们在两个单张图像进行深度估计的任务中应用了CSPN Refine 已有SOTA的输出 在传播过程中嵌入深度采样，把稀疏的深度图变成密集的深
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值