创新点
1.自监督网络结构
论文概述
Resnet-34为主干,图像分支还可以替换为超参数
将稀疏深度图已知像素的输入和输出之间的差异进行惩罚,也可以用半密集的真值深度图
方法详解
1.网络结构
深度图指导预测深度和网络主要深度损失,图像和深度计算出姿态估计,作为光度损失中间步骤
2.损失函数
一共由三部分组成,预测深度和真值深度插值,
稀疏深度监督
5%和30%密集度的深度图都行,输入即为监督信号。
光度损失
根据姿态估计网络得到的变换矩阵,像素位置可以通过变换矩阵反扭曲回去,再加上对像素领域进行双线性插值合成图像
重建出第一帧,PnP解决了坐标系转换求解出变换矩阵的问题,RANSAC算法则提高特征匹配中对异常值的鲁棒性
这个损失只在密集度覆盖以外的像素,避免和深度损失冲突,式子里的s是图像缩放尺度
平滑度损失
在每个像素上独立计算色差,最小化光度损失导致局部最优,使用深度估计二阶导数的L1损失,鼓励分段线性深度信号,这个损失越小深度越平滑
最终深度如下
提前设定好两个权重的值
总结
同一个作者写的,就是换成了自监督,但用的挺多的