论文阅读:LRRU: Long-short Range Recurrent Updating Networks for Depth Completion

重点:

1、轻量级

2、长短程循环更新,长短程指的是什么

3、LRRU网络是怎么粗略填充稀疏输入获得初始密集深度图的

4、学习的变化核体现在哪里,怎么实现的

5、迭代更新过程是内容自适应的,怎么个内容自适应法

6、动态调整大到小的核范围以及长到短范围的依赖关系,这句话体现在哪里

解答:

针对问题1,文章中表现出来的参数量确实少,如图1。但是具体怎么导致少的呢,我的理解是它使用的只是简单的下采样得到密集特征然后在上采样得到分辨率大的密集深度图,并在上采样过程中使用了TDU模块进行细化更新,没有反复使用卷积层堆叠,所以参数少

图1

针对问题2,长短程体现在哪里,我的理解是,它TDU模块其实主要的点就是使用了可变形卷积,可变形卷积里的weight和offset是经由本文重新定义学习的,(了解可变形卷积可以看看这个博客:论文及代码详解——可变形卷积(DCNv1)_可变形卷积v1-CSDN博客),里面的weight和offset是由于交叉引导特征和自引导特征一起决定的,交叉引导特征就是编码解码结构中的RGB特征和稀疏深度图特征结合得到的,自引导特征就是从稀疏深度图简单填充得到的初始密度图,如图2的红框部分。由于来自编码解码的交叉引导特征是高度密集的高级特征,感受野大,所以对应到原始图上的就是长程、大范围的特征,而越到后面,越是浅层特征,感受野越小,对应的是短程、小范围特征,而随着初始深度图越来越精细,也正好需要越小范围的注意力,所以正好了。

图2

针对问题3,这个我是看了源代码,找到了对应的位置,如图3,他是把稀疏深度图做了一fill,也就是填充,具体怎么填充的,大家各自去看吧,真的有点看球不懂,看得懂的大佬求求和我说一下,阿里嘎多!

图3

针对问题4、5,变化核和自适应这两个其实还是可变形卷积里面的问题,主要还是offset决定的,这个我也还没看完,但是知道了主要节点在哪,也是学习的目标啊,是吧,哈哈哈哈哈

针对问题6,和2差不多,就不解释了,欸,主要还是因为学得迷迷糊糊的原因

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值