引导方法深度补全系列—早期融合模型—3—《Depth coefficients for depth completion》

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

目录

创新点

一、文章概述

二、方法详解

1.网络结构

2.具体方法

总结

---

创新点

1.提出新的深度表示：深度系数（Depth Coefficients）

---

一、文章概述

深度完成旨在使用周围的深度像素加上彩色图像来估计图像像素处的未知深度。

提出深度系数使得卷积容易避免对象间的深度混合，标准均方误差促进深度混合，所以使用交叉熵损失

二、方法详解

1.网络结构

2.具体方法

混合深度

在给定稀疏深度和彩色图像数据xi的情况下，找到最能预测深度di的模型参数θ，分布数据为：

Pmodel指的是通过数据xi预测深度di

首先xi只有稀疏深度值的情况下，边界又未知，这时候深度值也就比较模糊，有前景和背景两种兼容性

 

解决深度混合问题，使用深度替代表示，使用交叉熵损失，避免了其他损失的问题，没有改架构，改了输入输出减少像素深度混合提高性能，稀疏深度转换为具有多个通道的深度系数，每个通道包含一定深度范围的信息。

 

在对象内的深度之间进行插值

 

di表示每像素的深度，cij表示每个像素的深度系数，元素都为值向量，系数限定为非负且总和为1，Dj表示j个通道的深度图，每个通道表示固定的深度图，这个固定值以大小为b的偶数步长增加

系数组合并不唯一，各种组合都可能得到相同的深度，所以本文使用三个非零系数简单稀疏表示深度，k为最接近像素深度的深度通道的索引（ci（k−1） ，cik，ci（k+1））

所以只需Dk即可，三个非零项对于每个di都是唯一的且满足上面等式，经过对输入的改造，对于稀疏深度输入，Nin=1，因此所有卷积都平等地应用于所有深度，从一开始就产生混合。对于DC输入，深度在Nin=N输入通道上进行划分，避免不同通道中的混合深度。

深度重建

预测的中心像素深度是两个对象深度的中间值，这是一个深度混合在空白空间中创建虚假点的示例。

 

（a） 通过深度图像的切片，显示两个对象之间的深度不连续。

（b） 稀疏深度表示的示例：每个像素都有一个深度值或零。

（c） 做卷积操作，估计丢失的像素，但会在两个对象之间生成混合深度像素。

（e） 稀疏深度的DC表示。每个具有深度测量的像素有三个非负系数，总和为1。

（f） 对（e）中的DC应用相同卷积操作的结果。对缺失深度进行插值，特别是对象之间没有深度混合

 

对于上面的深度混合的例子，b通过d的卷积得到c这样就产生了混合深度像素，因为这样得到的是深度的预测，而对于用深度系数表示的e同样卷积之后，得到两组预测，也就是把原来直接预测深度换成了预测深度系数，虽然在这一步增加了计算量，但是在计算损失的时候只需要在这两组里面涉及到的深度系数做交叉熵损失，此时交叉熵损失函数收敛速度比MSE来的快，而且产生的系数都是0-1之间，使得这种用系数表示加上交叉熵损失计算的方法得到比直接预测深度效果理论上会好一点，而对于深度系数预测的建模

将Pdata建模为图3中两点的DC之和。具有最小交叉熵损失的估计ˆcij将与Pdata精确匹配，从而提供多模态密度。使用等式7的像素深度估计将找到其中一个峰值的深度，而不是混合深度值

 

预测系数可能是多模态的，求出预测的DC的最大似然解在利用公式得出密集深度

 

就是先把最靠近实际深度的前景或背景深度直接赋值给中间缺失的像素，然后通过深度系数的交叉熵损失反向传播学习效果好的预测深度系数的卷积核，也就是用来建模cij的Pdata

损失函数

因为真实的Pdata为常数，所以KL散度和交叉熵损失等价，DC的交叉熵损失为

---

总结

红字是不理解的问题，也就是不知道为什么要这么做

蓝字是不理解的步骤，就是不太知道他到底是怎么算的

这文章思路挺好的，但效果一般（这个是综述里说的，还没复现）