14、三维表面重建-DeepSDF

已于 2022-10-30 14:44:19 修改
阅读量3.8k 收藏 19
点赞数 2
分类专栏： # 3D重建 文章标签： python
于 2022-08-18 10:07:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_50973728/article/details/126398320
版权

简介

传统的‎表面重建‎技术中，SDF是基于离散化体素对物体或者场景表面的一种表达，而现实中表面是连续的，DeepSDF是一种学习过的连续符号距离函数(SDF)表示一类形状，可以从部分和有噪声的3D输入数据中进行高质量的形状表示、插值和补全

贡献点

  • 提出了基于连续隐式曲面的生成式形状条件三维建模的公式
  • 基于概率自动解码器的三维形状学习方法
  • 在形状建模和完成中的演示和应用

Related work

3D物体形状的表示可以分成3类：基于点，mesh和voxel的方法

  • Point-based
    点云是一种轻量级的3D表示，它与许多传感器(如激光雷达、深度相机)提供的原始数据紧密匹配，因此很适合应用3D学习，适合于做分类分割检测的工作，不能描述拓扑结构，不适合生产水密表面

  • Mesh-based
    各种方法用预定义的模板网格来表示形状相似的物体，如可变形的人体部分，模板网格使用方便，自然提供了三维对应关系，但只能对网格拓扑结构固定的形状进行建模

  • Voxel-based
    体素，用数值的3D网格非参数地描述体积，目前的方法只能处理低分辨率(1283或以下)，不能保存精细的形状细节，高保真形状明显不同，因为在渲染时它们的法线并不光滑，可拓展性不强，当然有很多学者提出使用八叉树或者voxel hash的方法，但是只是在数据结构层面的改进，自身固有的缺陷（分辨率）没有解决。

实现思路

在这里插入图片描述

SDF是一个连续函数，对于给定的空间点，输出该点到最近表面的距离，其符号编码是在watertight surface的内部(负)还是外部(正):

在这里插入图片描述

s > 0是外部，s < 0是内部，s = 0是表面。

核心思想是利用深度神经网络从点样本直接回归连续的SDF，训练后的网络可预测给定查询位置的SDF值，这样的话就可以学习任意精度的全连续形状函数。

实际逼近的精度受到指导决策边界的点样本数量有限和计算能力有限网络容量有限的限制

可以联想到NeRF也是通过在光线上采样做积分的方式完成渲染

single shape deepSDF

在这里插入图片描述

给定一个目标形状，得到一组由3D点样本及其SDF值组成的数据

在这里插入图片描述

在训练集S上训练多层全连接神经网络 f θ f_θ fθ​ 的参数 θ，使 f θ f_θ fθ​ 在目标域 Ω 中成为给定SDF的良好逼近器

在这里插入图片描述

X 中各点的预测 和 真实SDF值在以下L1损失函数下的损失总和最小来完成的

在这里插入图片描述

clamp(x, δ) := min(δ, max(−δ, x))，同时引入了一个参数 δ 来控制距离，较大的 δ 值允许快速射线追踪，因为每个样本给出了安全步长信息。较小的 δ 值可用于将网络容量集中在近地表细节。

实验中使用 δ = 0. 1和一个由8个全连接层组成的前馈网络，每个层都应用了dropouts。所有内层均为512维，具有ReLU非线性，输出非线性回归SDF值为tanh，使用Adam优化器。

coded shape deepSDF

上面方法只能对单一形状进行重建，因为模型没有包含任何shape的信息。

下面将shape用latent vector的方式作为网络的输入，以此适应多种形状，每一种形状都有一个对应的code
在这里插入图片描述
在这里插入图片描述
自动解码器直接接受潜在向量作为输入。在训练开始时，给每个数据点分配一个随机初始化的潜在向量，并通过标准反向传播对潜在向量和解码器权重进行优化。

在推理过程中，译码器的权值是固定的，并估计出一个最优潜在向量。

在概念上，将这个潜在向量映射到一个连续的SDF表示的3D形状

形式上，对于某个由 i 索引的形状， f θ f_θ fθ​ 现在是一个潜在代码 z i z_i zi​ 和一个查询3D位置 x 的函数，并输出形状的近似SDF
在这里插入图片描述

概率公式化

由于Auto-encoders和encoder-decoder网络的瓶颈特征容易形成自然潜变量表示，因此被广泛用于表示学习

实验表明auto-decoder更好生成高质量3D生成模型，为此开发了一个概率公式来训练和测试自动解码器，它自然地引入了潜在空间正则化来改进泛化。

给定一个用符号距离函数(SDF)表示的N个形状的数据集，有一组 K 点样本及其符号距离值

在这里插入图片描述

对于自动解码器，由于没有编码器，每个潜在代码 z i z_i zi​ 都与训练形状 X i X_i Xi​ 配对。给定形状SDF样本 X i X_i Xi​ 的后验概率为

在这里插入图片描述

其中θ参数化SDF似然， p ( z i ) p(z_i) p(zi​) 假设服从zero-mean multivariate-Gaussian分布

通过一个深度前馈网络 f θ ( z i , x j ) f_θ(z_i, x_j) fθ​(zi​,xj​) 表示SDF似然，假设似然形式为

在这里插入图片描述

在这里插入图片描述

最终得到训练阶段的优化目标

在这里插入图片描述

在测试的时候，参数 θ 不动，可以通过最大值后验估计来估计形状 X i X_i Xi​ 的形状代码 z i z_i zi​

在这里插入图片描述

至关重要的是，这个公式对于任意大小和分布的SDF样本X是有效的，因为对于每个SDF样本，损失相对于z的梯度可以单独计算。这意味着DeepSDF可以处理任何形式的局部观测，如深度图。这是与自编码器框架相比的一个主要优势，自编码器要求类似于训练数据的测试输入

为了纳入潜在形状码，将码向量和样本位置进行叠加，并将其输入到之前所述的输入层和第4层相同的全连接NN中。再次使用Adam优化器。潜在向量z从N(0, 0.012)随机初始化。

在这里插入图片描述
在这里插入图片描述

C--G
关注
  • 2
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
MVS多视图三维重建-传统体素（集合）
08-27
MVS多视图三维重建--传统体素（集合） MVS多视图三维重建--传统体素（集合） MVS多视图三维重建--传统体素（集合）MVS多视图三维重建--传统体素（集合） MVS多视图三维重建--传统体素（集合） MVS多视图三维重建--传统体素（集合）MVS多视图三维重建--传统体素（集合） MVS多视图三维重建--传统体素（集合） MVS多视图三维重建--传统体素（集合） MVS多视图三维重建--传统体素（集合）MVS多视图三维重建--传统体素（集合） MVS多视图三维重建--传统体素（集合） MVS多视图三维重建--传统体素（集合）MVS多视图三维重建--传统体素（集合） MVS多视图三维重建--传统体素（集合） MVS多视图三维重建--传统体素（集合） MVS多视图三维重建--传统体素（集合）MVS多视图三维重建--传统体素（集合） MVS多视图三维重建--传统体素（集合） MVS多视图三维重建--传统体素（集合）MVS多视图三维重建--传统体素（集合） MVS多视图三维重建--传统体素（集合） MVS多视图三维重建--传统体素（集合） MVS多视图三维重建--传统体素（集合）MVS
DeepSDF环境配置及训练遇到的问题
weixin_43969015的博客
09-20 794
DeepSDF的环境配置及训练中的问题
三维重建-曲面重建-论文
09-02
三维重建--曲面重建--论文 三维重建--曲面重建--论文 三维重建--曲面重建--论文 v 三维重建--曲面重建--论文三维重建--曲面重建--论文 三维重建--曲面重建--论文 v三维重建--曲面重建--论文三维重建--曲面重建--论文v三维重建--曲面重建--论文 三维重建--曲面重建--论文 三维重建--曲面重建--论文vvvvv 三维重建--曲面重建--论文三维重建--曲面重建--论文 三维重建--曲面重建--论文 v 三维重建--曲面重建--论文v三维重建--曲面重建--论文 三维重建--曲面重建--论文 三维重建--曲面重建--论文 三维重建--曲面重建--论文 三维重建--曲面重建--论文 三维重建--曲面重建--论文 v 三维重建--曲面重建--论文三维重建--曲面重建--论文 三维重建--曲面重建--论文 v三维重建--曲面重建--论文三维重建--曲面重建--论文v三维重建--曲面重建--论文 三维重建--曲面重建--论文 三维重建-- 三维重建--曲面重建--论文v 三维重建--曲面重建--论文v三维重建--曲面重建--论文 vv三维重建--曲面重建--论文v
三维重建-SFM（合集）
08-27
三维重建--SFM（合集） 三维重建--SFM（合集） 三维重建--SFM（合集） 三维重建--SFM（合集） 三维重建--SFM（合集）三维重建--SFM（合集） v 三维重建--SFM（合集） v 三维重建--SFM（合集）三维重建--SFM（合集） v 三维重建--SFM（合集） v 三维重建--SFM（合集）三维重建--SFM（合集）三维重建--SFM（合集）v 三维重建--SFM（合集）v 三维重建--SFM（合集） 三维重建--SFM（合集） 三维重建--SFM（合集） 三维重建--SFM（合集） 三维重建--SFM（合集） 三维重建--SFM（合集）三维重建--SFM（合集） v 三维重建--SFM（合集） v 三维重建--SFM（合集）三维重建--SFM（合集） v 三维重建--SFM（合集） v 三维重建--SFM（合集）三维重建--SFM（合集）三维重建--SFM（合集）v 三维重建--SFM（合集）v 三维重建--SFM（合集）
深度学习三维重建 R-MVSNet-CVPR-2019（源码、原文+译文）
08-21
深度学习三维重建 R-MVSNet——CVPR-2019（源码、原文+译文） 深度学习三维重建 R-MVSNet——CVPR-2019（源码、原文+译文） 深度学习三维重建 R-MVSNet——CVPR-2019（源码、原文+译文） 深度学习三维重建 R-MVSNet——CVPR-2019（源码、原文+译文） 深度学习三维重建 R-MVSNet——CVPR-2019（源码、原文+译文） 深度学习三维重建 R-MVSNet——CVPR-2019（源码、原文+译文） 深度学习三维重建 R-MVSNet——CVPR-2019（源码、原文+译文） 度学习三维重建 R-MVSNet——CVPR-2019（源码、原文+译文） 深度学习三维重建 R-MVSNet——CVPR-2019（源码、原文+译文） 深度学习三维重建 R-MVSNet——CVPR-2019（源码、原文+译文） 深度学习三维重建 R-MVSNet——CVPR-2019（源码、原文+译文） 深度学习三维重建 R-MVSNet——CVPR-2019（源码、原文+译文）
DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation
qq_43420530的博客
01-16 6838
相关工作 3D形状补全 类似于2D的计算机视觉里面的图像修复工作，3D形状补全工作的目的是基于一些部分的或离散的输入，推理出这个3D物体全部的形状。比如说给我几个离散的SDF函数的值，我把整个连续的SDF函数给搞出来，给我任意的输入我都能得到应有的数值。之前传统的方式是使用径向基函数（RBF），或者将其看做是一个泊松问题，但是这些方式是以数学理论为依托的，虽然合理性得到了保证，但是缺点就是一次仅仅只能建模一个单一的3D物体。最近随着深度学习的发展，这种3D补全工作开始以数据为驱动，常用的模型便是编码-解码架
（12）点云数据处理学习——表面重建
chencaw的专栏
12-05 5577
dd
Deep SDF 、NeuS学习
qq_44708206的博客
11-17 4619
Deep SDF NeuS学习
Manhattan-SDF：多视角图像三维重建方法（CVPR 2022）
3D视觉工坊
06-15 5588
作者丨郭浩宇@知乎来源丨https://zhuanlan.zhihu.com/p/521725566编辑丨3D视觉工坊我们介绍一篇2022 CVPR Oral的三维场景重建论文：Neural 3D Scene Reconstruction with the Manhattan-world Assumption，该论文由浙江大学CAD&CG国家重点实验室/浙大-商汤...
DeepSDF : Learning Continuous Signed Distance Functions for Shape Representation
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
07-23 3128
计算机图形学，3D计算机视觉和机器人技术社区已经提出了多种方法来表示3D几何图形以进行渲染和重构。 这些提供了在保真度，效率和压缩能力之间的权衡。 在这项工作中，我们介绍了DeepSDF，这是一种学习到的连续形状的符号距离函数（SDF）表示形式，可以实现高质量的形状表示，部分和嘈杂的3D输入数据的内插和完成。 DeepSDF和它的经典对应物一样，通过连续的体积场表示形状的表面：该点的大小表示到表面边界的距离，符号表示该区域是在内部（-）还是外部 （+）形状，因此我们的表示形式将形状的边界隐式编码为学习...
Open3d之表面重建
ancy的博客
01-28 7571
在许多场景下我们希望生成密集的3D几何形状，比如三角网格。然而从多视图立体算法和深度传感器中我们只能够获得非结构化的点云数据。我们需要使用表面重建算法来从非结构化的输入中得到三角网格。Open3d实现了文献中已有的算法： Alpha shapes[Edelsbrunner1983] Ball pivoting[Bernardini1999] Poisson[Kazhdan2006] Alpha shapes alpha shape[Edelsbrunner1983]是凸包的概括。如这里所介绍...
论文复现：“DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation“
zParquet的博客
12-12 8966
目录一、 数据集生成（一）环境配置说明（二）cmake和make（三）安装CLI11（四）安装Pangolin（五）安装nanoflann（六）安装Eigen3（七）编译SDF（八）处理数据集二、模型训练（一）SDF数据浅析（二）训练过程 一、 数据集生成 （一）环境配置说明 这篇博文主要讲解“DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation”这篇paper复现过程中的环境配置工作。由于DeepSD
三维重建（知识点详细解读、主要流程）
热门推荐
wzy的博客
12-15 4万+
基于本人大创项目所学习三维建模过程的笔记。 1.概念：三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。 2.三维重建的分类： 根据采集设备是否主动发射测量信号，分为两类：基于主动视觉理论和基于被动视觉的三维重建方法。 主动视觉三维重建方法：主要包括结构光法和激光扫描法。 被动视觉三维重建方法：被动视觉只使用摄像机采集三维场景得到其投影的二维图像，根据图像的纹理分布等信息恢复深度信息，进而实现三
体素CVPR2019（二）DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation
Raywit的博客
11-30 5380
《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》论文解读 Abstract 1. Modeling SDFs with Neural Networks 原文：DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation 代码：Github     &nbs
浅谈3D隐式表示（SDF，Occupancy field，NeRF）
weixin_43117620的博客
07-28 8269
本篇文章介绍了符号距离函数Signed Distance Funciton(SDF)，占用场Occupancy Field，神经辐射场Neural Radiance Field（NeRF）的概念、联系与区别。
ManhattanSDF：基于曼哈顿世界假设的神经三维场景重建（论文阅读笔记）
weixin_59961223的博客
07-27 449
本文提出了从多视点图像重建三维室内场景的挑战，以前工作在处理室内低纹理平面区域存在困难。本文提出平面约束可以方便地集成到最近的基于隐式神经表示的重建方法中。使用一个MLP网络将符号距离函数表示为场景几何。基于Manhattan-World假设，利用平面约束规则化二维语义分割网络预测的楼层和墙壁区域的几何形状。为了解决分割不准确的问题用另一种MLP对三维点的语义进行编码，并设计了一种新的loss来联合优化三维空间中的场景几何和语义。
nerfstudio/sdfstudio 三维重建使用教程
KEEPace_6的博客
10-29 1393
sdfstudio使用教程
​NeurIPS 2023 | RayDF：实时渲染！基于射线的三维重建新方法
最新发布
阿木寺的博客
11-17 257
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【NeRF和三维重建】微信交流群在CVer微信公众号后台回复：RayDF，可以下载本论文pdf和代码，学起来！RayDF: Neural Ray-surface Distance Fields with Multi-view Consistency论文链接：https://arxiv.org/pdf/2310.1...
matlab 泊松表面重建
09-14
泊松表面重建是一种常用的三维几何重建方法，它通过输入点云数据生成光滑的表面模型。在MATLAB中，你可以使用泊松曲面重建的Python绑定进行实现。这个方法使用了八叉树深度和顶点密度来重建深度，并返回重建后的网格、深度和顶点密度。 你可以按照以下步骤在MATLAB中进行泊松表面重建： 1. 安装泊松曲面重建的Python绑定。 2. 使用pc2surfacemesh函数从输入点云ptCloudIn创建表面网格，并指定重建方法为'poisson'。 3. 在函数的输入参数中，可以选择是否提供重建深度inputDepth。 4. 函数将返回重建后的网格mesh，重建深度depth，以及顶点密度perVertexDensity。 请注意，这只是使用MATLAB进行泊松表面重建的一个简单示例。具体的实现方式和参数设置可能因实际情况而异。你可以参考泊松曲面重建的相关文献和教程来获取更详细的信息和代码示例。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值