double_ZZZ的博客

目录数据集参数设置金字塔结构Data模块trainTrainFeatureNetCostRegNetDepthNetCasMVSNet数据集相较于MVSNet增加了Depths_raw文件夹scans/: 保存了原始分辨率的深度图GT和mask(1200, 1600) 代码里用的是这个scanx_train/: 低分辨率的深度图和mask(128, 160)Cas和MVSNet与CVP很大的不同是，或者应该说CVP和其他两个很大的不同在于，CVP的数据集中train就是train，test就是

环境搭建首先在DTU官网下载定量测试的数据集（这部分之前师兄下过就没重新下）最终的数据结构应该是.├── ObsMask└── Points └── stl然后下载官方matlab测试代码，我用的是MVSNet_PyTorch里evaluation中的matlab代码主要修改的是两个文件BaseEvalMain_web.m和ComputeStat_web.m其中需要修改的也主要是几个路径：dataPath：官网下的两个数据集的位置plyPath：所有你自己生成ply的位置

环境配置需要下载作者提供的数据集，跟MVSNet的数据集不是很一样，但都不大2G+1G整体环境推荐不要复用MVSNet，主要是PyTorch版本比较新，再依照requirements安装下没安过的库即可如果opencv-python在conda中无法安装成功，就直接用pip安装，一样可以用的我最开始复用了MVSNet的cuda和torch环境，会在很多位置报错RuntimeError: output with device cuda:0 and dtype Float doesn't match

环境配置总体环境可以复用MVSNet的conda环境，激活MVSNet的conda环境后做如下修改在install_dependencies.sh中选择当前没安装过的手动安装，不建议直接执行shell文件(比如cuda的版本可能出问题)pip install -r requirements.txt注意官方shell里最后一行少了后缀名运行compile.sh进行编译PointMVSNet跟其他MVS方法有很大区别在于它的代码有C的部分，而且需要链接和编译，整体架构也离主脉络较远

环境配置因为该仓库使用的是pytorch_lightning框架，因此当然不可以复用之前的conda环境啦，作者readme里已经说的很详细了直接安装requirements.txt会报错pytorch lightning版本和torchvision版本冲突，因此我最终安装的是torch==1.4.0 torchvision==0.5.0 pytorch-lightning==0.6.0然后安装Inplace-ABN pip install git+https://github.com/ma

环境配置安装Anaconda创建conda环境 conda create -n MVSNet python=3.6，并激活conda activate MVSNet首先在conda中安装Pyorch首先通过cat /usr/local/cuda/version.txt查看CUDA版本 (比如我的是CUDA Version 10.0.130)然后在pytorch官网之前的版本中找- 安装这条命令即可- 安装完在命令行进入python，通过`import t

mkdir build && cd buildcmake ..make进行编译即可，会自动导出后续fusibile被调用时的路径一些坑记录在下面：【运行转化点云时报错：Error: no kernel image is available for execution on the device】原因：主要是不同显卡的CUDA架构问题，根据Matching CUDA arch and CUDA gencode for various NVIDIA architectures

开始之前推荐先把论文读明白：【深度学习MVS系列论文】CVP-MVSNet: Cost Volume Pyramid Based Depth Inference for Multi-View Stereo数据集【Train】Cameras：每个视点的相机信息和配对信息，跟MVSNet一致，删除了一些没用的东西，pair配对信息也完全一样Depth：深度图真值，跟MVSNet一致，不同点是没有mask图，训练的深度图也是128*160Rectified：训练用的图片，结构跟MVSNet是一样的，只

MVSNet PyTorch实现版本(非官方)GitHub - xy-guo/MVSNet_pytorch: PyTorch Implementation of MVSNet总体结构对于训练核心的代码有如下几个：train.py: 整体深度学习框架(参数处理、dataset和DataLoader构建、epoch batch训练、计算loss梯度下降、读取/保存模型等)modelsmodule.py: mvsnet所需的网络基础架构和方法(网络组成模块、投影变换homo_wrapin.

RayNet: Learning Volumetric 3D Reconstruction with Ray Potentials 、CVPR 2018由非常著名的Max-Planck-Gesellschaft(德国马克思-普朗克研究所)联合苏黎世理工和微软共同提出马尔可夫基础理论马尔可夫性质：随机过程未来的状态仅依赖于当前状态，即给定现在状态时与过去状态是条件独立的势函数：两变量间的相关关系该模型偏好A和C有相同的取值，B和C有不同的取值团: 图中节点的子集，任意两个节点间都有边.

PatchmatchNet: Learned Multi-View Patchmatch StereoCVPR 2021 oralAbstractlearnable cascade formulation of Patchmatch首次提出iterative multi-scale Patchmatch和adaptive propagation and evaluation scheme for each iteration.在性能上的提升较多Introduction学习方法效果确实很.

Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo MatchingCVPR 2020Abstract之前的问题：构建3D代价体，随着分辨率的增加cubic增长memory and time efficient cost volume formulation complementary首先构建特征金字塔，每一步通过上一步的结果缩小深度假设范围同样也是coarse-to-fine: gradually hi.

Attention-Aware Multi-View StereoCVPR 2020Abstractattention-enhanced matching confidence volume → robust photo-consistency将提取出特征的pixel-wise matching confidence与局部场景的上下文信息相结合attention-guided regularization将匹配置信度代价体变为概率体Introduction【问题一】对应像素使用的光度一致.

Cost Volume Pyramid Based Depth Inference for Multi-View StereoCVPR 2020 oralAbstractbuild cost volume pyramid in a coarse-to-fine manner而不是固定分辨率的代价体，使得网络更轻量化，可以迭代生成高质量的深度图首先通过对最粗糙图像的前平行平面均匀采样构建最初的cost volume，然后进行pixel-wise depth residual进行refine与P.

P-MVSNet: Learning Patch-wise Matching Confidence Aggregation for Multi-View Stereo ICCV 2019Abstractvolume在深度和空间方向应该都是各向异性的，但之前都是各向同性的处理问题本文基于各向同性和各向异性的3D卷积构建网络两大核心模块：patch-wise aggregation module: 从提取的特征中聚集像素级别的相关信息 → matching confidence volume.

Point-Based Multi-View Stereo NetworkICCV 2019 oral → TPAMI摘要cost volume → directly process point cloudspredict the depth in a coarse-to-fine manner首先生成粗糙的深度图，将其转化为点云，通过点云真值进行refineleverage 3D geometry priors and 2D texture information jointly → fe.

Recurrent MVSNet for High-resolution Multi-view Stereo Depth InferenceCVPR 2019核心思路之前的缺陷：scalability, hard for high-resolution scenescontribution: scalable MVS framework 内存消耗减少，也可以应用大场景instead of regularizing the entire 3D cost volume in one go, R-.

目录核心思路相关工作Pipeline图像特征Cost VolumnDepth MapLoss实现数据视角选择训练后处理实验评估消融缺陷MVSNet: Depth Inference for Unstructured Multi-view StereoECCV 2018核心思路extract deep visual image featuresbuild 3D cost column upon the reference camera frustum via the differential