引导方法深度补全系列—早期融合模型—2—《Self-supervised sparse-to-dense: Self-supervised depth completion from lidar a》

已于 2022-11-10 18:13:00 修改
阅读量186 收藏
点赞数
文章标签： 深度学习 计算机视觉 神经网络
于 2022-11-10 17:57:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CSPNNN/article/details/127793459
版权

创新点

1.自监督网络结构

论文概述

Resnet-34为主干，图像分支还可以替换为超参数

将稀疏深度图已知像素的输入和输出之间的差异进行惩罚，也可以用半密集的真值深度图

方法详解

1.网络结构

 深度图指导预测深度和网络主要深度损失，图像和深度计算出姿态估计，作为光度损失中间步骤

2.损失函数

一共由三部分组成，预测深度和真值深度插值，

稀疏深度监督

5%和30%密集度的深度图都行，输入即为监督信号。

光度损失

根据姿态估计网络得到的变换矩阵，像素位置可以通过变换矩阵反扭曲回去，再加上对像素领域进行双线性插值合成图像

重建出第一帧，PnP解决了坐标系转换求解出变换矩阵的问题，RANSAC算法则提高特征匹配中对异常值的鲁棒性

这个损失只在密集度覆盖以外的像素，避免和深度损失冲突，式子里的s是图像缩放尺度

平滑度损失

在每个像素上独立计算色差，最小化光度损失导致局部最优，使用深度估计二阶导数的L1损失，鼓励分段线性深度信号，这个损失越小深度越平滑

最终深度如下

提前设定好两个权重的值

总结

同一个作者写的，就是换成了自监督，但用的挺多的

白纸一样的白
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
论文笔记_S2D.44_自监督的从稀疏到稠密：用激光雷达和单目摄像机进行自监督深度补全
惊鸿一博
11-02 1162
基本情况 题目：Self-supervised sparse-to-dense: Self-supervised depth completion from lidar and monocular camera 出处：Ma, F., Cavalheiro, G. V., & Karaman, S. (2019, May). Self-supervised sparse-to-dense: Self-supervised depth completion from lidar and monocu
深度图补全-depth inpainting
惊鸿一博
10-31 4250
Deep Depth Completion of a single RGB-D Image 状态：开源，pytorch，matlab，C++ 下载地址: https://github.com/yindaz/DeepCompletionRelease 思路：目前效果最好(截止至2019. 06)，耗时长。使用rgb image作为输入预测物体表面稠密法线及遮挡区域的边缘信息。使用这些预测结果与原始的depth图像结合，通过全局优化，对原始图像中像素缺失问题进行解决。由于现有数据集中ground trut
Self-Supervised Sparse-to-Dense:Self-Supervised Depth Completion from LiDAR and Monocular Camera
倚马古道
09-13 1586
进入研二，开始进行学术研究。在老师的指导下，对深度补全问题进行探索，在接下来的一段时间将会分享相关论文。 这篇文章将会分享Self-Supervised Sparse-to-Dense:Self-Supervised Depth Completion from LiDAR and Monocular Camera Abstract 深度补全主要面临的三个挑战：在稀疏深度输入中的不规则...
Self-Supervised Sparse-to-Dense: Self-Supervised Depth Completion from LiDAR and Monocular Camera
weixin_43992618的博客
02-14 1952
论文分享（2） 0.摘要 深度补全，一种从稀疏深度图到估计密集深度图的技术，在机器和自动驾驶中由很大的应用。然而，深度补全面临三个主要的挑战：稀疏深度输入中的不规则间隔模式；处理多种传感器模式的困难（当彩色图存在时）；像素级别真值的密集深度的缺失。在这项工作中，处理了上述所有的挑战。具体来说，我们开发了一个深度回归模型来学习直接的映射从稀疏深度（含彩色图）到密集深度。我们也提出了一个自我监督训练框...
每天一篇论文 282/365 Self-Supervised Monocular Depth Hints
流浪机器人的博客
12-08 1354
原文 摘要 像素点的深度真值是很难获得的，自监督单目深度估计网络的出现是解决这个难题一个很有希望的办法，本文作者提出了一系列的改进，与现有的自监督方法相比，这些改进共同作用得到了定量和定性改进的深度图。自监督单目深度网络的研究通常探究日益复杂的框架，损失函数和图像形成模型，这些有效地缩进了与有监督方法的差距。我们表明一个意外简单的模型和相关的设计选择，可以带来不俗的预测效果。特别是我们提出，（i）...
Depth completion深度补全论文总结
流浪机器人的博客
09-28 3305
Depth completion Paper Self-supervised Sparse-to-Dense: Self-supervised Depth Completion from LiDAR and Monocular Camera code 输入RGB以及稀疏LiDARs 由Depth 网络预测深度，然后在有深度的情况下用OPENCV 的 cv2.xfeatures2d.SIFT_create()检测特征点，然后用cv2.solvePnPRansac解得Poset,通过Photometric L
【深度补全算法】基于RGBD相机的深度补全算法(非Lidar)论文与GitHub代码总结
AaaA00000001的博客
11-14 5425
最近组里面因为项目上需要检测边缘信息，需要调研深度图的补全算法，当前的深度图补全主要集中在但目前较多研究聚焦于自动驾驶领域的Lidar深度图的补全，而对RGB-D相机涉猎较少，通过搜集GitHub，下面将对一些深度图的补全算法进行介绍。
深度补全 论文及代码汇总，持续更新中~~
不忘初心~
03-14 2117
depth completion
基于视觉的机器人抓取: 论文及代码(Vision-based Robotic Grasping: Papers and Codes)
热门推荐
dsoftware的博客
10-22 2万+
最近总结了基于视觉的机器人抓取的相关论文及代码，同步于github。根据抓取的类别，基于视觉的机器人抓取可以分为两类：2D平面抓取以及6D空间抓取。这个页面总结了近年来涉及到的各种各样的方法，其中大部分都使用了深度学习。总结的中文框架结构如下： 0.综述论文 1. 2D平面抓取 这类方法将抓取，用平面内旋转的矩形框表示； 1.1基于RGB或者RGB-D的方法 采用基于目标检测类的方法，直接得到2D...
论文阅读理解 - Look into Person: Self-supervised Structure-sensitive Learning
长风破浪会有时，直挂云帆济沧海
10-14 2271
Look into Person: Self-supervised Structure-sensitive Learning and A New Benchmark for Human Parsing Code-Caffe Paper 摘要—— 主要两部分：(1)建立Look into Person(LIP)数据集；(2)提出self-supervised structure-sens...
（翻译）自我监督模式（Self-Monitoring）
gc_2299的博客
08-20 1771
问题概述   让用户能够追踪其想要改变的行为。
Dense Relational Captioning:Triple-Stream Networks for Relationship-Based Captioning
Peter的脱发日记
06-14 987
Dense Relational Captioning:Triple-Stream Networks for Relationship-Based Captioning 原文地址 时间:2019 CVPR Intro 本文要解决的问题是dense caption，通过寻找每对object之间的关系来进行caption生成 Approach 给一张图片，RPN生成object proposals，然...
深度估计中的不确定度方法总结
TomRen
10-26 6076
针对深度估计、深度补全和稀疏重建等深度估计相关任务，需要利用不确定度或置信度来评价估计结果的好坏。本文总结了一些基于不确定度进行辅助和评价结果可靠性的有效方法。
关闭触控板
倚马古道
10-06 662
一、完全禁用 由于在笔记本BIOS中找不到禁用PS/2接口的选项，所以只能卸载系统自带的PS/2鼠标驱动： 在“我的电脑”上右键——“属性”——“硬件”——“设备管理器”——在“鼠标和其他指针设备”中，右键“PS/2 Compatible Mouse”（如果你安装过其他触摸板驱动就选择相应的名称）——“卸载”。 然后重新启动计算机。OVER！（建议重启后在“PS/2 Compatible M
DSD（Dense-Sparse-Dense Training）算法详解
AI之路
09-03 8009
论文：DSD： Dense-Sparse-Dense Training for Deep Neural Networks 论文链接：https://arxiv.org/pdf/1607.04381.pdf 模型下载地址：https://songhan.github.io/DSD.这是Song Han发在ICLR2017上的文章，我们知道Song Han的研究领域主要是模型压缩，模型加速等，但是这
卷积神经网络综述
最新发布
XU157303764的博客
09-03 980
本文对卷积神经网络（Convolutional Neural Network，CNN）进行了全面综述。首先介绍了卷积神经网络的发展历程，包括早期的理论基础和关键突破。接着详细阐述了卷积神经网络的结构组成，包括卷积层、池化层、全连接层等，分析了各层的作用和特点。然后探讨了卷积神经网络在图像识别、目标检测、语义分割等多个领域的应用，并介绍了一些典型的应用案例。此外，还讨论了卷积神经网络的训练方法和优化技巧，包括数据增强、正则化、超参数调整等。最后，对卷积神经网络的未来发展趋势进行了展望。
【深度学习 transformer】transformer 训练一个文本分类任务，超简单了
赖德发的博客
09-03 798
请注意，这只是一个简化的示例，实际代码可能会更复杂，具体取决于您选择的模型和配置。此外，Happy Transformer的API可能会随着时间的推移而更新，因此请确保查看最新的文档以获取最新的信息。请注意，这只是一个简化的示例，实际代码可能会更复杂，具体取决于您选择的模型和配置。此外，Happy Transformer的API可能会随着时间的推移而更新，因此请确保查看最新的文档以获取最新的信息。在这个预测代码中，我们首先使用Happy Transformer的API加载训练好的模型。
rethinking graph anomaly detection: a self-supervised group discrimination p
02-05
现有的异常检测方法通常依赖于人工标注的异常样本，但这种方法需要大量的标注工作和专家知识。因此，该论文提出了一种基于自我监督群体区分的新方法。 该方法首先构建一个图形数据的表示形式，例如图形的节点和边...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值