[论文阅读][深度学习-三维重建]Single-Shot 3D Shape Reconstruction Using Structured Light and CNN

最新推荐文章于 2023-08-02 23:21:05 发布
最新推荐文章于 2023-08-02 23:21:05 发布
阅读量1.5k 收藏 19
点赞数 1
分类专栏： 论文阅读 文章标签： cnn 深度学习 神经网络 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pingjun5579/article/details/120718127
版权

Single-Shot 3D Shape Reconstruction Using Structured Light and Deep Convolutional Neural Networks

文章目录

Abstract

这篇文章研究了一种将结构光与卷积神经网络（CNN)结合起来的三维重建算法。算法的输入是单张条纹图像，输出是深度图。训练和验证数据集是通过传统的条纹结构光算法得到的（数据有着高质量的3D ground truth labels)。为了得到深度信息，传统的方法使用复杂的算法计算相位或像素视差，而本文提出了一种end-to-end的方法，可以直接由2D图像得到3D深度图。本文提出并比较了三种基于CNN的模型，并且公开了一个高精度的结构光数据集。

1. Introduction

结构光技术，根据所需要的图像张数，可以被分为两种， multi-shot和single-shot 。multi-shot精度高，被广泛用于工业领域。single-shot速度快，可以处理动态场景，在娱乐和机器人领域受到更多关注。

随着CNN的发展，在图像分割领域涌现出一些end-to-end的架构，比如UNet等。在三维重建领域，Eigen[22]和Liu[23]等学者提出了一种CNN模型，可以使用单张图像做深度估计。但是他们使用的是Kinect的RGB-D数据集，精度较差。受两人的工作启发，Choy[24]提出一种架构，将RNN引入到了具有自动编码器的CNN模型中（？？？？？），来做单视图和多视图的三维重建。Duo[25]等提出一种CNN模型，可以从单张照片重建3D脸部模型。尽管在一个合成的公开数据集上表现很好，但该方法需要复杂的后处理步骤。最近Paschalidou 结合了CNN和马尔科夫随机场，提出了end-to-end的RayNet 来做多视图三维重建。以上方法的共同缺点是，没有使用高精度的训练数据。

在光学领域，涌现了很多使用CNN进行结构光条纹分析的工作。比如Feng，Yin[27-35]等结合CNN和相移技术来做相位解包裹。也有使用深度学习技术来做降噪的[36-38]。

由于CNN在图像分割，三维重建和条纹分析等领域的成功应用，使用CNN从单张结构光图像中重建高精度的三维模型也是值得尝试的。拥有巨量参数的深度CNN模型可被训练来拟合任何复杂的非线性回归模型，比如将一张传统的结构光图像映射到其对应的深度图上的模型。当前，CNN技术和传统结构光技术中应用最广泛的技术：FPP的结合，是研究的热点。本文提出了一种将两者结合的方法：使用一个具有encoder和decoder的CNN模型，将单张高频条纹图映射为一张3D图像。同传统的三维测量方法相比，本文的方法要简单很多，因为不需要任何几何信息，或者复杂的标定和三角计算。

精准的训练数据集对于机器学习模型的训练是非常重要的。本文使用FPP技术（16张图像）来制作ground truth, 用来做模型的训练和验证。

本文的2.1 节介绍了FPP技术,2.2节介绍模型的细节，3节是实验结果，4和5做了小结。

2.Methodology

2.1 使用FPP技术制作训练数据集

简要介绍了FPP技术的原理，包括相位计算，多频法相位解包裹技术，以及如何从相位分布得到深度信息[46,47]，这里不再赘述。

使用FPP技术生成的data可以直接被喂给CNN模型来做训练。

2.2 Network Architecture

模型由两部分组成,encoder和decoder. encoder 包括了convolution和pooling操作, 可以从输入图像中提取到重要的特征. decoder, 包括了transpose convolution 和unpooling操作, 可以将低维feature map通过stack和concatenate, 生成更高分辨率的layers.

在这里插入图片描述

本文使用了三种CNN架构, 比较了他们的效果:

  1. FCN

    FCN被应用于语义分割. FCN的encoder采用了同时期的分类网络, 并将全连接层转换为卷积层, 然后再将粗输出上采样到与输入同样的大小. 本文采用了FCN-8s 架构[19] ,该架构可以防止空间信息的丢失.

  2. AEN

    AEN有一个encoder和与之对称的decoder.本文提出的AEN共33层

  3. UNet

    UNet和AEN的架构很像.主要的区别在于,UNet中, 来自encoder的 local context information 被直接连接(concatenated)到了上采样输出. 这有助于提高输出的分辨率.

三种CNN架构图示如下:

在这里插入图片描述

训练和测试数据集是四维向量, 维度为 s × h × w × c s \times h \times w \times c s×h×w×c, s是样本个数, h和w是图像的空间分辨率, c是图像通道数. 网络包括了convolution, pooling, transpose convolution, 和unpooling 层, 但不包括任何全连接层. 卷积层用到的激活函数为Relu.

max pooling 层的size为 2x2, stride为2. 在AEN和UNet 中, 2D transpose convolution 被用在decoder中, 作用是将低分辨率的feature 转换为高分辨率的feature. 最后有个1x1 的卷积层, 可以将feature map 转为深度图.

3.实验及结果

硬件环境

  • PC: i7-980 CPU, 16GB RAM, Nvidia GeForceGTX 1070
  • Projector: Epson PowerLite98
  • Camera: Silicon Video 643M

深度学习环境

  • Keras
  • Nvidia CUDnn

实验环境

  • FOV: 155mm
  • 物距: 1.2m
  • 拍摄物品: 雕塑

3.1 Test Data Acquisition

使用FPP算法, 分别生成了1120, 140和140组真实数据作为训练集,验证集和测试集.数据集已开放下载https://figshare.com/articles/dataset/Single-shot_3D_shape_reconstruction_datasets/7636697

四步相移法中, 最高频的第一张图被作为输入图像.

在这里插入图片描述

(原文附件视频查看:https://www.mdpi.com/1424-8220/20/13/3718/s1)

data split ratio为(0.8,0.1,0.1) ,这对于小数据集来说足够了 ???

原始数据中的阴影区域不参与训练.

3.2 Training, Analysis和Evaluation

Training
  • 优化算法 Adam
  • 300 epochs
  • mini-batch size: 2 images
  • 学习率: 每当20个连续的epochs 的validation loss 不再有提升, 则学习率减半
  • 过拟合问题的解决: data_augmentation, weight regulazation, data shuffling, drop out
  • 超参数调优: grid search
  • loss function: 二值交叉熵(ground truth 需要scale 到[0,1]区间)或者MSE
  • 每个epoch 结束的时候, 会随机选择一张image,使用更新后的参数进行测试
Evaluation

evaluation 的指标使用的是重建的3D shape 的 MRE和RMSE (???咋算的).

在这里插入图片描述

结果可以看出:

  1. FCN误差最大, 训练时间最长(因为有element summation操作 ???)
  2. AEN训练时间最小,但是精度略逊于UNet
  3. batch size 越小, 模型表现越好

直观展示下结果

Figure5 是取了深度图的一行像素

在这里插入图片描述
在这里插入图片描述

可以看出AEN和UNet比FCN的结果要好, 主要原因是FCN 仅使用双线性上采样算子(???)从低分辨率来恢复高分辨率特征, 造成了很多细节丢失. AEN和UNet在decoder中包含了和其encoder对称的操作, 这有助于信息在各层之间更好的传递,从而保留了更多的细节.(???)

而与AEN相比, UNet拥有可以将local features直接传递到decoder的concatenation操作, 这使得它在三者中表现最好.

对于传统方法,由于条纹相位的不连续性, 使用一张条纹图来重建拥有不同深度的多个物体是不可行的. (???) 然而, 这对于深度学习方法不是个问题, 因为根本不需要计算相位.

最后比较了下传统的FPP, 3D-DIC技术 和UNet的结果. 技术上来说, 3D-DIC 使用两个相机同时成像, 仅使用一张图, 该技术需要area或block based image registration, 所以其一般来说分辨率比FPP要低(???)

下图展示了三种技术的重建效果, 精度方面, FPP最高, DIC次之, UNet最低.但是UNet计算时间要小于50ms. 而其他两种方法在0.1到2秒之间.

在这里插入图片描述

4.Discussion

在精度方面,尽管本文提出的方法还有进一步提升的空间, 但是需要更多的训练数据(这很耗费时间)和更深层的神经网络模型(这在训练阶段很吃算力和内存). 未来的工作可以着眼在更好的模型, 更大的数据集以及寻求更好的硬件或云计算来加速模型的训练

5.Conclusion

你代码写的像诗
关注
  • 1
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
结构光逆相机法重建详解+代码
qq_29462849的博客
06-17 2478
代码地址：在公众号「计算机视觉工坊」，后台回复「逆相机法」，即可直接下载。注：本文的理论主要来自于参考文献1、2，代码来源于南京理工大学左超老师课题组发表的参考文献2中，笔者在其基础上稍作...
结构光三维扫描
07-28
结构光栅三维扫描，以及特整点的匹配，标定等过程
3D-Reconstruction-With-RGBD:Kinect制作的3D重建演示
04-30
带RGBD的3D重建 介绍 这是BUCT第三学期构建的演示。 这是HuWei分配的任务，需要我们与Kinect一起工作，因此我们要对其进行3D重建。 该演示尚未完全完成。 因此，它留下了许多未构造的或构造不足的功能。 在本演示中，我们为使用点容器构造的模型实现了四种显示模式的功能。 并实现一个简单的AR功能。 特征 将Kinect与OpenGL连接。 点云建设。 从点云三角剖分构造平面。 远距离显示模式。 正常显示模式。 灯光显示模式。 彩色显示模式。 AR（远非完美）。 完整的文件 要求 Windows 10作业系统 Microsoft Visual Studio 2017（版本可能无关紧要） Kinect SDK v1.8 OpenGL v3.3 glfw3 高兴的 如何使用 设置项目的属性 包含目录： 库目录： 其他依赖项： kernel32.lib
3D-RCNN: Instance-level 3D Object Reconstruction via Render-and-Compare
07-04
We present a fast inverse-graphics framework for instance-level 3D scene understanding. We train a deep convolutional network that learns to map image regions to the full 3D shape and pose of all object instances in the image. Our method produces a compact 3D representation of the scene, which can be readily used for applications like autonomous driving. Many traditional 2D vision outputs, like instance segmentations and depth-maps, can be obtained by simply rendering our output 3D scene model. We exploit class-specific shape priors by learning a low dimensional shape-space from collections of CAD models. We present novel representations of shape and pose, that strive towards better 3D equivariance and generalization. In order to exploit rich supervisory signals in the form of 2D annotations like segmentation, we propose a differentiable Render-and-Compare loss that allows 3D shape and pose to be learned with 2D supervision. We evaluate our method on the challenging real-world datasets of Pascal3D+ and KITTI, where we achieve state-of-the-art results.
3D-face-reconstruction:使用直接体积CNN回归从单个图像进行3D人脸重建
05-10
3D人脸重建 结果 参考 数据集
main.zip_3d reconstruction_OpenCV三维重建_opencv_三维重建_立体匹配
07-15
基于opencv库及vs2017的三维重建代码，包含立体矫正，立体匹配的bm算法
三维重建之条纹投影结构光（一）
热门推荐
beyond951的博客
03-12 2万+
该系列为条纹投影结构光学习笔记，一共分为四篇。第一篇记录文献阅读的笔记，对重要知识点进行摘录介绍。 本篇以理论知识推导为主，主要从以下三个方面进行介绍，首先介绍条纹投影的三角测量原理；然后介绍相位主值的求解和相位展开；最后介绍相位和高度的模型，即相高模型。本篇博文不涉及具体的代码实现。 条纹投影结构光测量原理 ...
基于深度学习的全息粒子场成像进展
m0_37940804的博客
04-07 697
基于深度学习的全息粒子场成像进展 深度学习算法随着计算机性能的提升以及各种算法的提出，在成像以及一些视觉任务中得到了广泛应用。将深度学习与数字全息结合则是一个比较新颖的方向。该方向上现有文章和现有研究方向都只是一小部分，所以留给我们研究的内容还是很多的。我主要做的是基于深度学习的粒子场数字全息成像。这篇文章中，我主要介绍深度学习与粒子场数字全息成像相结合的几篇文章，这也在我的一篇文章中做了具体介绍，具体可以参考我的文章[1]。希望能给一些人一些启发，同时如果想讨论或者一起交流的，欢迎加我微信（Eugene
Depth acquisition with the combination of structured light and deep learning stereo matching
正在挣扎中的人
04-12 2113
一种结合结构光和无监督立体匹配的方法
What is Machine Learning, Deep Learning and Structured Learning?
披着鲨鱼皮的海盗
07-18 718
目录 机器学习框架 Deep learning 什么是深度学习？ Deep v.s. Shallow 深度学习的大起大落 世人都道深度好，为啥深度好？ Structured Learning 链接：http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2015_2/Lecture/Brief%20ML%20(v2).pdf 首先我们在学...
灰度投影代码matlab-SLKit:结构光工具包
06-01
投影投影代码matlab 结构光工具包 该工具包实现了格雷码结构光技术。 依赖关系 MATLAB 下载 克隆这个存储库并获取数据。 数据集的来源在相应的 README 文件中指定 git clone https://github.com/imkaywu/SLKit cd SLKit 数据集 图像命名为xxxx.abc ，其中xxxx是从 0 开始的四个数字序列， abc是图像格式。 数据集包含在列和行投影模式下成像的对象。 对于每个图案，使用逆图案来消除相互反射引起的误差。 拍摄了两个带灯和灯的附加图像以简化解码过程。 演示 您可以运行slRecon.m来获得重建的结果。 结果 执照 麻省理工学院
考虑折射的激光结构光视觉三维重建代码 Structured light vision 3D reconstruction
05-31
English description: 3D reconstruction project for laser structured light vision considering refraction (applicable to different media such as air and water). The code is implemented in C++version. It...
三维重建经典论文合集汇总
soaring_casia的专栏
03-16 3590
三维重建涉及计算机视觉、图形学等多门知识，是一套非常复杂的系统。经典三维重建系统包括整个pipeline从相机标定、基础矩阵与本质矩阵估计、特征匹配到运动恢复结构（SFM），从SFM到稠密点云重建、表面重建、纹理贴图。其中，熟悉SFM的工程师已经是行业内的佼佼者，能掌握稠密点云重建与表面重建的工程师更是凤毛麟角。图1 经典三维重建系统pipeline。
Single-shot 3D Multi_Person Shape Reconstruction from a Single RGB image
qq_45153076的博客
02-09 321
文章目录一、文章的贡献二、文章的网络结构三、损失函数1.多人shape重建都会有的loss2.本文的loss四、实验结果五、其他文章总结 一、文章的贡献 乱入：文章题目的single-shot 暂且理解为端到端，与目标检测中的single-shot不同（每类目标只有单个 ） 1.快 real-time 以大约37帧/秒（37 fps）的速度处理图像，以实时执行3D多人形状重建任务。 2.基于相机坐标系重建多人3D形状（多人3D pose重建的论文很多，但是多人3D shape重建的较少），即估计了3D .
N步相移及多频外差解相算法详解（opencv+C++代码实现）
最新发布
qq_69110426的博客
08-02 2249
【代码】N步相移及多频外差解相算法详解（opencv+C++代码实现）
论文《Depth acquisition with the combination of structured light and deep learning stereo matching》学习
Orange_Wu的博客
09-06 735
摘要         结构光和深度学习方法被广泛应用于人工视觉中，以获取真实场景的深度地图。本文提出了一种结合结构光和深度学习立体匹配的深度计算方法。为了解决立体匹配中无纹理区域的问题，采用一对具有丰富结构光信息的左右两侧图像，由无监督CNN网络获取粗深度图。粗深度图用于相位展开，是基于相位的结构光方法的瓶颈。然后，通...
布隆过滤器之误识别率FPP公式的推导
二进制之路
10-27 1751
在《什么是布隆过滤器（Bloom Filter）？》一文中，多次提到了误识别率（FPP，false positive probabilistic）。 那么误识别率到底是多大，应该如何计算呢？ 假设布隆过滤器大小为m比特，存储了n个元素，使用k次散列函数来计算元素的存储位置。 添加1个元素，则任一比特为1的概率为：1/m，任一比特为0的概率：1-1/m； 添加1个元素，执行k次散列之后，则任一比特为0的概率：(1-1/m)^k，任一比特为1的概率：1-(1-1/m)^k； 如果添加n个元素，那么任一比特为0
编码结构光（资料收集）
weixin_43384504的博客
04-04 1302
最近在研究利用结构光进行三维重建，在一个网站上看到了开源的3D结构光代码，特分享地址：http://www.3dunderworld.org/ 该网站链接服务可提供源码下载和相关的文献。所提供的源码有更新升级，最新的源码支持GPU处理，可作为二次开发进行研究学习。 ------------------------------ 另外再提供一个在MATLAB平台下利用gray code进行三维重...
【数据处理】三维数据堆叠成四维并分割成训练集和测试集（为模型训练做准备）
你好，我是小铭同学
11-02 472
def load_data(file_path): data = np.load(file_path) print(data.shape) return data file_path = '\series.npy' def split(data, train_cnt, input_num,output_num): # 计算三维数据的第一个维度的长度，确定如何分割 data_len = len(data[0]) set_len = input_
深度学习卫星三维重建代码的GitHub项目
05-17
以下是一些可能有用的卫星三维重建的深度学习代码的GitHub项目： 1. Airborne Lidar Data 3D Reconstruction with Deep Learning: https://github.com/charlesq34/frustum-pointnets 2. Dense 3D Reconstruction from Satellite Imagery using CNNs: https://github.com/nshaud/DeepNetsForEO 3. Semantic Segmentation for Aerial/Satellite Imagery with U-Net: https://github.com/zhixuhao/unet 4. Deep Learning for Semantic Segmentation of Aerial Imagery: https://github.com/GeorgeSeif/Semantic-Segmentation-Suite 5. Satellite Imagery Object Detection with RetinaNet: https://github.com/Flytxt-Research/satellite-object-detection-retinanet 这只是一小部分可用的项目，还有很多其他的项目可以通过GitHub搜索找到。希望这可以帮助你开始。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值