程序员，他们想的是什么?他们想的永远都是技术，他们崇尚的也永远都是技术。

R是3×3的正交单位矩阵（即旋转矩阵），t为平移向量，R、t与摄像机无关，所以称这两个参数为摄像机的外参数(extrinsicparameter)，可以理解为两个坐标原点之间的距离，因其受x,y,z三个方向上的分量共同控制，所以其具有三个自由度。R是3×3的正交单位矩阵（即旋转矩阵），t为平移向量，R、t与摄像机无关，所以称这两个参数为摄像机的外参数(extrinsicparameter)，可以理解为两个坐标原点之间的距离，因其受x,y,z三个方向上的分量共同控制，所以其具有三个自由度。

一、双目三维重建（binocular stereo）：输入左右两张图片二、SFM（Structure from Motion）运动推断结构：一系列不同视角图片三、MVS（Multi View Stereo）多视图立体：一系列 不同视角图片

传统的重建方法是使用光度一致性等来计算稠密的三维信息。虽然这些方法在理想的Lambertian场景下，精度已经很高。。可以。传统视觉算法已经很难有新的突破，各个领域都在朝深度学习方向研究，近几年各大视觉会议论文都是基于深度学习来实现三维重建，各个大厂招聘也越来越看重深度学习三维重建方法。

本专栏 所发布的文章–图文教程基本都是实操 截图+笔记，系统原理讲解较少。如需，系统原理讲解和源码剖析的，可下载此教程手册。

香港科技大学的权龙教授团队的Yao Yao把双目立体匹配的cost volume，引入了基于深度学习的三维重建领域，提出了MVSNet，并整理了DTU数据集，开创了通过深度模型预测深度进行三维重建的一个新领域。后续Xiaoyang Guo 同学把原来MVSNet的tensorflow代码改成了pytorch框架，极大地增加了代码的可读性，方便了后续一系列对MVSNet的改进。也提高了改进的基点。

MVSNet (pytorch版) 代码注释版 下载 （注释非常详细，代码结构有所调整，使用起来更方便）深度学习三维重建 MVSNet-ECCV-2018 （源码、pytorch版、原文+注释、译文+批注）Meshlab查看三维点云时 ，使用技巧总结。

u0，v0表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数。理论值应该是图像宽度、高度的一半，但实际是有偏差的，一般越好的摄像头则其越接近于分辨率的一半;dx和dy表示: x方向和y方向的一个像素Q分别占多少长度单位，即一个像素代表的实际物理值的大小，其是实现图像物理坐标系与像素坐标系转换的关键。我们通常所说的相机内参是4个，分别为:fx、fy、u0、v0;在导出时，弹出对话框，新建sparse文件夹，用于保存结果；是与相机自身特性相关的参数，比如相机的焦距、像素大小。

二者训练集也不一样，前者19.2GB，后者76.3GB，主要区别前者深度图使用小分辨率（160。区别在于数据加载，前者 cams文件最后是最小深度和间隔，后者是最小深度和最大深度。1.MVSNet 的DTU测试数据集和PatchmatchNet测试数据集不一样；解压后mvs_training/dtu，19.2GB；128）119组，是后者深度图采用原分辨率（1600。MVSNet,Fsat-MVSNet,通用。1200）128组。

只需在 PatchMatchNet文件夹下新建一个 .py文件，为了便于识别，这里命名为。

Meshlab查看三维点云时 ，使用技巧总结。

MVSNet是一个十分具有代表性的方法，它在预先给定的深度范围内采样D个depth hypotheses，然后基于plane-sweeping stereo和differential warping构建cost volume，使用3D U-Net进行regularization得到probability volume，最后使用soft argmin（求期望）得到深度的估计。可以发现，PatchmatchNet的点云更加稠密，门、窗等细节都重建的比较好，这体现了方法较高的completeness。

本代码不仅进行了详细注释，还对源码做了相应调整，可以更方便用户使用，代码结构 和 注释 情况见下图。

近几年，在MVS类论文中使用最为广泛的大型数据集分别是DTU数据集、Tanks and Temples 数据集、ETH3D 数据集 、数据集。对于基于学习的MVS训练，深度图是必不可少的，而评估是基于点云的。对基于平面扫描的多视图立体视觉技术的深度学习中，如果一个数据集不包含地面真实摄像机标定，或者使用开源软件获得地面真值标定，那么它可能不适合训练，因为平面扫描对摄像机标定中的噪声很敏感。

Meshlab查看三维点云时 ，使用技巧总结。

本代码已经导入了,Tensorboard，并且在相应的地方调用了，详情可看本文附带的代码，有注释。目录下有7个训练模 （因为epoch=8，每一轮一个产生一个模型）和 一个 训训练日志（events.out…包含了训练曲线、网络模型等，但补鞥直接打开，需要借助。如图，下面想将1mm、2mm、4mm、8mm的曲线，是四个图对比性不强。可以看到stage0~stage3以及总的loss的训练曲线，还可以查看1mm、2mm、4mm、8mm的训练验证误差。目录下我之前的产生的其他文件清理了）点击可查看曲线放大图。

训练集原名是dtu,但为了和MVSNet的dtu训练集加以区别，本文代码将其重命名为patchmatch_dtu。这里设置的的是训练8个Epoch，不同的电脑配置寻片时间也是不一样的，全部训练完毕1天到几天不等。在代码文件加下打开 README.md文件找到训练说明，查看那要求、下载训练集、训练方法。在./checkpoints文件下就产生一个 train_log文件，记录所有训练的日志。如果运行出错可根据提示作相应修改，一般都是路径，文件名啥的不对。检查好路径配置,确定训练集的路径和代码里训练路径一致。

默认的test.txt中，有22个测试场景，这里为了快速验证效果，我们只运行测试 Scan23这个场景，其余的删掉。可以看到在 PatchmatchNet-main/outputs目录下产生了相应的文件。可以看到文件设置了数据集路径，及超参数设置（超参数，也可以不写，会使用默认参数）将输出的.ply点云文件，用Meshlab软件打查看效果。可以看到首先回打印参数列表 ，然每张图进行深度预测。数据集下载，准备好数据集，我的dtu数据集放在。在程序中打开 eavl.sh文件，进入 mvs环境之后，

在反向传播后面，添加#输出loss writer.add_scalar。在模型初始化下面，添加#输出模型结构 writer.add_graph。这里要注意，如果cuda可用，要转换成cuda类型，否则用cpu模型。刷新网页，就可以看到历史版本曲线，可以选择要显示的版本，就行对比分析。这里batch=100，下面图片显示100个28*28的小图拼接而成。在前前向传播前面，添加#输出图像 writer.add_image。将历史生成的log,分别放在不同的文件夹里，每个文件件放一个，如图。

① 输入1，输出16通道，卷积核 5 * 5，偏置是16 （ 偏置b=滤波器个数即输出通道的个数）1 * 16 * 5 * 5+16=416。② 归一化，16通道，有16个输出；每个输出有2个值：均值、方差；为了区别源文件，这里复制eval.py为eval2.py演示。在手写字识别测试代码eval.py上演示，激活和池化是没有参数的，所以为0；在模型加载初始化完毕，调用。运行veal_2.py。

Pytorch教程参考链接：https://github.com/yunjey/pytorch-tutorial。

深度学习三维重建 PointMVSNet-ICCV-2019（源码、原文、译文、批注）下载 使用PointCloud 代替 3D Cost VolumePoint-Based Multi-View Stereo Network ，清华大学PointMVSNet(ICCV2019)也是2019年的改进MVSNet论文，想法是预测出深度depth信息然后和图片构成三维点云，再用3D点云的算法去优化depth的回归。 后续复现其代码发现无法得到PointMVSNet论文里的精度，不知道是不是因为3D点云的算法问题

深度学习三维重建 笔记总结 MVSNet系列顶刊总结MVSNet(CVPR-2018)，RMVSNet(CVPR2019)，PointMVSNet(ICCV2019)，P-MVSNet(ICCV2019)，MVSCRF(ICCV2019)，Cascade(CVPR2020)，CVP-MVSNet(CVPR2020)，Fast-MVSNet(CVPR2020)，UCSNet(CVPR2020)，CIDER(AAAI2020)，PVAMVSNet(ECCV2020)，D2HC-RMVSNet(ECCV2020)

基于深度学习的MVS方法在提高重建质量方面取得了巨大成功，但由于深度学习框架本身的复杂性，这种算法的耗时一般较长。除了重建质量，效率也是现实场景中重建的一个重要因素。因此，我们采取改进的Fast-MVSNet网络进行实际场景的三维重建，这是一种新的由稀疏到稠密、由粗糙到精细的框架，适用于快速和准确的多视图深度估计。

基于体素的方法[3]、[4]、[5]、[6]、[7]、[8]、，[9]要求知道包含场景的边界框，其精度受体素网格分辨率的限制。基于可变形多边形网格的算法[10]，[11]，[12]需要一个良好的起点，例如视觉外壳模型[13]，以初始化相应的优化过程，这限制了它们的适用性。所提出的方法与[32]中的方法之间的主要区别在于，平面在[32]中定义在图像坐标中，但在我们的工作中定义在相机坐标中，因为立体对在我们的论文中没有校正。多视点立体重建是基于图像的三维图像采集中的一个关键步骤，近年来受到越来越多的关注。

MVSNet(CVPR-2018)，RMVSNet(CVPR2019)，PointMVSNet(ICCV2019),P-MVSNet(ICCV2019)，MVSCRF(ICCV2019)，Cascade(CVPR2020),CVP-MVSNet(CVPR2020)，Fast-MVSNet(CVPR2020)，UCSNet(CVPR2020),CIDER(AAAI2020)，PVAMVSNet(ECCV2020)，D2HC-RMVSNet(ECCV2020)，Vis-MVSNet（BMVC 2020），AA-

室外场景：https://www.eth3d.net/low_res_two_view。

本代码不仅进行了详细注释，还对源码做了相应调整，可以更方便用户使用，代码结构 和 注释 情况见下图。

使用PyTorch可视化工具-Tensorboard；writer.add_graph(model,graph_inputs)#输出模型结构报错如下。

Meshlab还有很多其他功能，就我而言，最常用的就是上面几个了，后面又新的使用会继续更新！

tools->options-> 就可以调meshlab的背景颜色了。接着弹出当前颜色框，双击标号②，出现对话框三，可以选择颜色。Meshlab，一般默认背景颜色是深色，双击 图中 标号①，这里 更换白色背景，

Meshlab查看三维点云时，点云颜色很暗淡，怎么调亮。只需要点击右侧 None即可。

进入到scan1文件下下，可以看到scan下有三个文件，分别是。打开dtu测试集查看到有22 组测试集，每个场景scan下有三个文件。每个场景的49个图片、

DTU数据集是具有124个不同场景的室内多视图立体数据集，其中所有场景共享相同的相机轨迹，它包含在7种不同光照条件下的49或64个视图的128组图片。分为79组训练集，18组验证集和22组评估集(test)。将每张图像作为参考，总共有27097个训练样本。下面以PatchMatchNeth中的DTU数据结构为例，打开PatchMatchNet程序中的list文件。打开list 下的dtu中的test文件可以看到。

我们在使用的时候，只需在eval.sh文件中设置超参数，也可以不写，会使用eval.py中的默认参数。可以看到文件设置了数据集路径，及超参数设置（超参数，也可以不写，会使用默认参数）打开PatchMatchNet程序中的 eavl.sh文件，超参数在 eval.py文件中，定义的，已经给了默认值。下面以PatchMatchNet为例，

cost-volume在计算机视觉中特指计算机视觉中的立体匹配stereo matching问题中的一种左右视差搜索空间。普遍来说，Cost volume是在双目匹配中用于衡量左右视图的相似性的一个 4D tensor（batch为1），也被用于光流估计中。我们以difference的方式为例进行介绍。输入左右视图的特征图维度为B C H W。首先，对D（max disparity）维度进行遍历，cost volume(:, :, i, :, i:)可以理解为视差为i时，左右视图的相似度。

如果在一次大选中某人的支持率为55%，而置信水平0.95上的置信区间是（50%,60%），那么他的真实支持率有95%的机率落在50%~60%，因此他的真实支持率不足一半的可能性小于2.5%（假设分布是对称的，即正态分布）。我们看红框里面的重点内容，根据我上面置信度的解释，不难理解这个95%就是置信度，而这个58%-62%也确实就是置信区间，我们从这句话去反推置信区间可能的解释：样本里面目标占比的区间范围多少才值得95%的可信度。置信区间展现的是这个参数的真实值有一定概率落在测量结果的周围的程度。

基于深度学习的多视图立体，例如经典的MVSNet网络架构，通常会构造一个三维的代价体去回归场景的深度值，但MVSNet常受限于显存限制而无法对高分辨率的影像进行深度估计。在MVSNet框架的基础上，多种方法对显存增长问题提出了改进方案，上一篇文章我们介绍了R-MVSNet，该方法利用循环神经网络GRU，对三维代价体进行切片，这样不仅保留了靠前的深度和纹理信息，也减少了GPU的消耗，深度估计精度和深度估计范围要优于MVSNet，不同方法的比较结果可通过图1体现。图1 效果比较图。

一个端到端的深度学习架构，用于从多视图图像进行深度映射推断。在该网络中，首先提取深度视觉图像特征，然后通过可微分单应性翘曲在参考摄像机截锥上建立三维代价体。是一种监督学习的方法,以一个参考影像和多张原始影像为输入,而得到参考影像深度图的一种端到端的深度学习框架。网络首先提取图像的深度特征,然后通过可微分投影变换构造3D的代价体,再通过正则化输出一个3D的概率体,再通过soft argMin层,沿深度方向求取深度期望,获得参考影像的深度图。Differentiable Homography 可微分单应性翘曲。

本篇文章是ICCV 的一篇文章，讨论的是从多张RGB图和摄像机参数中，预测深度图并生成点云的问题。该篇文章依然是在继MVSNet之后，对代价体部分进行了改进，从而在一定程度上提高了点云结果的完整性和准确性。本文的主要创新点在于提出了基于区域匹配置信的代价体，通过学习的方式将每个假想面上的特征匹配置信聚合变为一个向量而非常量。从而提高立体匹配的准确度。

patch-wise介于像素级别和图像级别的区域，也就是块，每个patch都是由好多个pixel组成的，网络训练将整张图crop成了多个path~pixel-wise字面上的理解一样，一张图片是由一个个pixel组成的，这个是图像的基本单位，像素级别的；image-wise图像级别，比如一张图片的标签是狗，是对整个图片的标注；