三维重建概述

三维重建(3D Reconstruction)

  用相机拍摄真实世界的物体、场景,并通过计算机技术进行处理得到物体的三维模型。主要包含一下技术:多视图立体几何、深度图估计、点云处理、网格重建与优化、纹理贴图、马尔可夫随机场、图割等等。三维重建是增强现实(AR)、混合现实(MR)、机器人导航、自动驾驶等领域的核心技术之一。
  
在这里插入图片描述

传统方法

基于RGB-D的重建

  深度相机(RGBD Camera):可以直接获取被测对象的三维信息(深度图)的相机。深度相机主要分为结构光和ToF:目前比较主流的是ToF相机。

基于MVS的重建

  MVS:从一系列RGB图像中重建3D模型(刚体重建),包含图像采集、特征提取与匹配、位姿计算、稀疏点云重建、稠密点云重建、网格重建,纹理贴图。

经典开源框架:

  位姿计算:COLMAP、MVE、OpenMVG、Slam等等
  MVS:COLMAP、MVE、PMVS、SMVS、OpenMVS等等
目前较好的方案是 :COLMAP(计算位姿)+OpenMVS(三维重建)
经典论文:综述: Multi-View Stereo:A Tutorial
     MVS开源框架测评:Thanks and Temples:Benchmarking Large-Scale Scene Reconstruction

COLMAP
COLMAP-SFM:

在这里插入图片描述
在这里插入图片描述

基于深度学习的方法

单帧图像重建Mesh

人脸重建

基于3DMM重建
论文:

  1. Nonlinear 3D Face Morphable
    线性模型,可形变模型,任何一张人脸都可以根据一下公式来重建,基于统计学原理,任何一个人脸都可以由多个标准人脸的特征(形状、纹理、表情)线性组合得到。
  2. On Learning 3D Face Morphable Model from In-the-wild Images
    非线性模型,学习了一个非线性的3DMM模型,比传统的线性模型具有更大的表示能力;采用了弱监督学习的方式,利用大量没有三维扫描的二维图像,共同学习模型和模型拟合的方法。
  3. 2DASL
    自监督模型,克服数据不足的问题。
  4. PRNet
    端到端重建的方式解决人脸对齐与三维人脸问题,使其一起完成,且不受到低维空间的限制,运行速度快。
物体、人体重建
  1. IF-Nets
  2. PIFu

多帧图像重建深度图

在这里插入图片描述
1.MVSNet
网络结构输入是任意位姿的多张图像,且多张图片之间的关系需要被整体考虑
在这里插入图片描述
2. MVS-JDACS-MS(Self-supervised Multi-view Stereo via Effective Co-Segmentation and Data-Augmentation)
**特点:**在无监督训练框架中引入协同分割和数据增强策略,克服不同视角之间天然存在的关照差异性等干扰。
在这里插入图片描述
3. PatchMatchNet
**网络结构:**一种基于传统的PatchMatch算法的高效multi-view stereo框架
在这里插入图片描述

常用数据集

Kitti 数据集在这里插入图片描述
NYU数据集
在这里插入图片描述

ScanNet
在这里插入图片描述
DTU
在这里插入图片描述

  • 0
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CV科研随想录

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值