3D点云重建原理及Pytorch实现

最新推荐文章于 2024-08-07 20:33:52 发布

wujianming_110117

最新推荐文章于 2024-08-07 20:33:52 发布

阅读量2.9k

点赞数

分类专栏：点云&融合fusion 成像技术深度学习

吴建明

本文链接：https://blog.csdn.net/wujianing_110117/article/details/106671875

版权

本文探讨了一种使用Pytorch实现的3D点云重建方法，通过二维卷积运算预测三维结构，结合伪渲染器进行优化。这种方法在单图像三维重建任务上表现出色，优于现有技术，且在潜在空间中编码的语义信息可操作，能生成有意义的三维预测。

摘要由CSDN通过智能技术生成

3D点云重建原理及Pytorch实现

Pytorch: Learning Efficient Point Cloud Generation for Dense 3D Object Reconstruction
一种Pytorch实现方法：学习高效的点云生成方法用于稠密三维物体重建
Article:
https://chenhsuanlin.bitbucket.io/3D-point-cloud-generation/paper.pdf
Original
TF implementation: https://github.com/chenhsuanlin/3D-point-cloud-generation
一．论文概要
传统的三维对象生成建模方法是利用三维卷积运算的深度网络来训练3D预测，这与经典的二维方法是直接类似的。然而，这些方法在试图预测三维形状时计算上是浪费的，因为只有表面上的信息才是丰富的。本文提出了一种新的三维生成模型框架，以有效地生成密集点云形式的目标形状。使用二维卷积运算从多个角度预测三维结构，并将几何推理与二维投影优化相结合。引入伪渲染器（pseudo renderer）这一可微模块来近似真实的渲染操作，以合成新的深度图进行优化。对单图像三维物体重建任务的实验结果表明，在形状相似性和预测密度方面，优于最新的方法。
神经网络pipeline
在这里插入图片描述
二．贡献总结如下：
•主张具有二维卷积运算的深网络能够生成密集的点云，从而在未加密的三维空间中塑造三维物体的表面。
•引入一个伪渲染管道作为真实渲染的可微近似。进一步利用伪渲染深度图像进行二维投影优化，以学习生成密集的三维形状。
•展示了的方法在单图像三维重建问题上的有效性，这显著优于最新方法。
三．主要原理

Pseudo-rendering概念
前向绘制是计算机图形学中一个古老而成熟的概念。真实渲染通常是通过在每个像素位置使用Z缓冲区来保持相机的有效可见值（RGB或深度）来实现的。虽然这是可并行的，可以在gpu上有效地运行，但通常是不可微的，不能直接利用和纳入深度学习框架。在这里，给出了这种操作的可微逼近的一个解。