无监督重建——JDACS

一、网络结构

语义一致性分支+深度预测分支+数据增强分支

1.深度预测分支

采用MVSNet、CVP-MVSNet等骨干网络，用于预测深度图
损失：

M为掩膜。

2.语义一致性分支

流程:预训练vgg特征提取→非负矩阵分解→重塑为热图→softmax构建语义图→计算损失

非负矩阵分解：
乘法更新规则求解NMF，将A分解为P和Q

P的每一列相当于一种特征，Q的每一列相当于一组系数。P的一行乘以Q的一列相当于A相应位置的特征选择过程。

损失：
扭曲+掩膜+每像素交叉熵

3.数据增强分支

损失：深度预测分支结果 - 数据增强分支预测结果

增强方法
1.交叉视野遮罩：用遮罩屏蔽一些区域，并将遮罩投影到其他视图；
2.Gamma校正：一种非线性操作，用于调整图像的照度；
3.颜色抖动和模糊 ：许多变换可以将颜色波动附加到图像上，例如随机颜色抖动、随机模糊、随机噪声。

4.网络损失

同时加入结构化相似性LSSIM和深度平滑度LSmooth