论文阅读：Pix2Vox++: Multi-scale Context-aware 3D Object Reconstruction from Single and Multiple Images

最新推荐文章于 2024-08-18 10:21:34 发布
最新推荐文章于 2024-08-18 10:21:34 发布
阅读量1k 收藏
点赞数
分类专栏： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42042757/article/details/118758519
版权
Pix2Vox++是一种基于深度学习的3D对象重建框架，解决了基于RNN的方法在顺序依赖和记忆丧失上的问题。它通过编码器-解码器结构并行生成粗略3D体积，再用多尺度上下文感知融合模块自适应选择高质量重建，最后用细化器校正错误。Pix2Vox++在准确性和效率上优于现有方法，并在多个数据集上表现出色。
摘要由CSDN通过智能技术生成

Pix2Vox++: Multi-scale Context-aware 3D Object Reconstruction from Single and Multiple Images

Pix2Vox++:基于单个和多个图像的多尺度上下文感知三维对象重建

来源：International Journal of Computer Vision 2020
源码

摘要

利用深度神经网络从单幅或多幅图像中恢复物体的三维形状在过去的几年中受到越来越多的关注。主流作品(例如3D-R2N2)使用递归神经网络(RNNs)来顺序融合输入图像的特征图。然而，当给定具有不同阶数的相同输入图像时，基于RNN的方法不能产生一致的重建结果。此外，由于长期记忆丧失，RNNs可能会忘记早期输入图像的重要特征。为了解决这些问题，我们提出了一种新的单视图和多视图三维对象重建框架，称为Pix2Vox++。通过使用设计良好的编码器解码器，它从每个输入图像生成一个粗略的3D体积。然后引入多尺度上下文感知融合模块，自适应地从所有粗略三维体中为不同部分选择高质量重建，以获得融合的三维体。为了进一步校正融合的3D体积中错误恢复的部分，采用rediner来产生最终输出。在ShapeNet、Pix3D和Things3D基准上的实验结果表明，Pix2Vox++在准确性和效率方面都优于最先进的方法。

关键词：三维物体重建、多尺度上下文感知、卷积神经网络

介绍

推断物体的完整和精确的三维形状在机器人学、三维建模和动画、物体识别和医学诊断中是必不可少的。传统的方法，如来自运动的结构(SfM)(zy eil等人，2017)和同时定位和映射(SLAM) (Fuentes-Pacheco等人，2015)，匹配从稍微不同的视图捕获的跨图像的特征，然后使用三角测量原理来恢复图像像素的3D坐标。虽然这些方法可以产生质量令人满意的3D重建，但它们通常使用校准良好的相机来捕获同一对象的多个图像，这在某些情况下是不实用或不可行的(Yang等人，2019)

最近，几种基于深度学习的方法，包括3D-R2N2 (Choy等人，2016年)、(Kar等人，2017年)、DeepMVS (Huang等人，2018年)、RayNet (Paschalidou等人，2018年)和AttSets (Yang等人，2020年)，从一幅或多幅RGB图像中恢复物体的3D形状，而无需复杂的相机校准，并显示出有希望的结果。3D-R2N2 (Choy等人，2016)和LSM (Kar等人，2017)都将多视图3D重建表述为序列学习问题，并使用递归神经网络(RNNs)融合由共享编码器从输入图像中提取的多个特征图。当有更多的对象视图可用时，要素地图会逐渐细化。然而，基于RNN的方法有三个局限性。首先，当给定具有不同顺序的相同图像时，由于排列方差，RNNs不能一致地估计物体的3D形状(Vinyals等人，2016)。其次，早期输入图像的重要特征可能会因为RNNs的长期记忆丧失而被遗忘(Pascanu等人，2013)。第三，基于RNN的方法很耗时，因为输入图像是顺序处理的，没有并行化(Hwang和Sung）

为了克服基于的方法的缺点，DeepMVS (Huang等人，2018)使用最大池来聚集一组无序图像上的深度特征，用于多视图立体重建。RayNet (Paschalidou等人，2018)应用平均池

最低0.47元/天 解锁文章
A2333fun
关注
专栏目录
Pix2Vox：3D物体重建的深度学习利器
gitblog_00073的博客
04-19 415
Pix2Vox：3D物体重建的深度学习利器 Pix2VoxThe official implementation of "Pix2Vox: Context-aware 3D Reconstruction from Single and Multi-view Images". (Xie et al., ICCV 2019)项目地址:https://gitcode.com/gh_mirrors/pi...
Pix2Vox 开源项目使用教程
gitblog_01042的博客
08-16 764
Pix2Vox 开源项目使用教程 Pix2VoxThe official implementation of "Pix2Vox: Context-aware 3D Reconstruction from Single and Multi-view Images". (Xie et al., ICCV 2019)项目地址:https://gitcode.com/gh_mirrors/pix/Pix...
Pix2Vox:实现“ Pix2Vox
05-12
Pix2Vox 该存储库包含论文的源代码。 后续工作《 已发表在《国际计算机视觉杂志》（IJCV）上。 引用这项工作 @inproceedings{xie2019pix2vox, title={Pix2Vox: Context-aware 3D Reconstruction from Single and Multi-view Images}, author={Xie, Haozhe and Yao, Hongxun and Sun, Xiaoshuai and Zhou, Shangchen and Zhang, Shengping}, booktitle={ICCV}, year={2019} } 数据集 我们在实验中使用和数据集，如下所示： ShapeNet渲染图像： ://
pix2vox：使用堆栈式生成对抗网络进行基于草图的3D探索
02-06
pix2vox 堆叠式生成对抗网络基于草图的3D探索。 生成的样本 单类别生成 多类别生成 要求 以下python软件包是运行该应用程序所必需的。 如果您正在使用 ，则可以轻松安装VTK5和PyQt4（或者可能已经安装）。 （建议使用GPU支持）。 $ conda install -c anaconda vtk=5.10.1 $ conda install -c anaconda pyqt=4.11.4 $ pip install qdarkstyle 入门 安装上面的python包 安装 （您需要Git LSF才能下载经过训练的模型文件） 从GitHub下载代码： $ git
体素ICCV2019（一）Pix2Vox: Context-aware 3D Reconstruction from Single and Multi-view Images
Raywit的博客
11-20 6444
《Pix2Vox: Context-aware 3D Reconstruction from Single and Multi-view Images》论文解读 Abstract 1. Related work 1.1 Single-view 3D Reconstruction 2. Method 2.1 Encoder 原文：Pix2Vox: Context-aware 3D Reconstruction from Single and Multi-view Images 代码：Pytorch &nb
推荐开源项目：pix2vox - 创意无限的3D模型生成器
gitblog_00007的博客
05-27 469
推荐开源项目：pix2vox - 创意无限的3D模型生成器 项目地址:https://gitcode.com/maxorange/pix2vox 在数字艺术和设计领域，将二维图像转化为三维模型是一项挑战性的任务。现在，我们向您推荐一个创新的开源项目——pix2vox，它使用了堆叠生成对抗网络（Stacked Generative Adversarial Networks），让3D建模变得简单而有趣...
cycleGAN-使用Pytorch实现的CycleGAN+pix2pix算法-优质项目实战-附完整流程教程.zip
01-20
在本项目中，我们将深入探讨两个重要的深度学习技术——CycleGAN和pix2pix，并通过PyTorch框架进行实践。这两个模型都是生成对抗网络（Generative Adversarial Networks, GANs）的重要变种，用于图像到图像转换任务...
conGAN:pix2pix-tensorflow
04-28
有条件的GAN（pix2pix-tensorflow） 设置 先决条件 Linux 显卡 张量流1.4 张量板（可选） 入门 克隆此仓库： git clone https://github.com/yd8534976/conGAN.git cd conGAN 下载数据集： python ./tools/...
libv4l2cpp:V4L2 C ++包装器
05-02
libv4l2cpp 它是V4L2的C ++包装器 依存关系 liblog4cpp5-dev（可选） V4L2捕获 使用MMAP界面创建V4L2 Capture界面： V4L2DeviceParameters param("/dev/video0", V4L2_PIX_FMT_*, width, height, fps, IOTYPE_MMAP...
3D-Reconstruction-Pix2Vox-LSTM:CSC2547 3D计算机视觉最终项目
04-18
3D重建脚模型Pix2Vox-LSTM CSC2547 3D计算机视觉最终项目实现了Pix2Vox-LSTM方法，并在手部脚部数据集上进行了测试。 要下载经过Pix2Vox-LSTM.pth训练的模型文件，请访问： ://drive.google.com/file/d/1RZt_TOf6VSUGo3D_ZpumbTWFahvM7Lu5/view?usp=sharing
3D-Reconstruction-Foot-Model:CSC2547 3D计算机视觉最终项目
04-18
3D重建脚模型Pix2Vox-LSTM CSC2547 3D计算机视觉最终项目实现了Pix2Vox-LSTM方法，并在手部脚部数据集上进行了测试。
推荐文章：探索深度学习的魔力——Pix2Vox：从二维到三维的艺术重建
最新发布
gitblog_01160的博客
08-18 268
推荐文章：探索深度学习的魔力——Pix2Vox：从二维到三维的艺术重建 Pix2VoxThe official implementation of "Pix2Vox: Context-aware 3D Reconstruction from Single and Multi-view Images". (Xie et al., ICCV 2019)项目地址:https://gitcode.com...
文献阅读笔记系列一：事件相机3D重建的方法探究
qq_60818566的博客
01-13 1784
该系列是作者拜读相关学者成果做的一些笔记。
Pix2Pix模型理论（Image-to-Image Translation with Conditional Adversarial NetWorks）
HHzdh的博客
08-25 713
论文地址：https://arxiv.org/abs/1611.07004 1 论文概述 《Image-to-Image Translation with Conditional Adversarial NetWorks》讲的是如何用条件生成对抗网络实现图像到图像的转换任务。图像、视觉中很多问题都涉及到将一副图像转换为另一幅图像（Image-to-Image Translation Problem），这些问题通常都使用特定的方法来解决，不存在一个通用的方法。但图像转换问题本质上其实就是像...
使用深度学习进行基于图像的三维重建的最新综述
小白学视觉
02-22 2010
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达仅用于学术分享，若侵权请联系删除本文回顾了关于特定物体（如人脸）的近期研究。一些重要论文性能的分析和比较，总结了这一领域的现有问题并讨论未来研究的方向。本文是深度学习做三维重建的一篇综述对自2015年以来本领域的149个方法做详尽的回顾深入分析深度学习三维重建的各个方面，包括训练集，网络架构选择以及重建结果，训练技巧和应用场景总...
Pix2Pix进一步了解
HHzdh的博客
09-03 1924
参考：Pix2Pix视频解读 一、Pix2Pix是输入图片矩阵而不是标签向量 1、生成器方面 Pix2Pix与CGAN之间的联系：CGAN生成器输入的是一个label，而我们现在要做的是把这个lable换成一个图片，如下所示。这个图片是一个建筑物的模式图，但是没有刻画建筑物的细节。 生成器通过噪声noise和模式图两个输入，最后生成一个建筑物的图： 2、判别器方面 判别器要做两个方面的事情，一个是判断这个图片是否是真实的...
生成对抗网络（GAN）的5个最有趣的应用
喜欢打酱油的老鸟
06-29 7913
https://www.toutiao.com/a6706480830081925646/ “GAN”这个词是由Ian Goodfellow在2014年引入的，但这个概念早在1990年就开始存在（由JürgenSchmidhuber开创）。 事实上，GAN现在无处不在。 数据科学家和深度学习研究人员使用这种技术生成逼真的图像，改变面部表情，创建计算机游戏场景，可视化设计，最近甚至生成令人惊叹的艺...
pytorch-cyclegan-and-pix2pix怎么用预训练好的模型
07-16
你可以使用 PyTorch-CycleGAN-and-pix2pix 库来使用预训练好的模型。下面是一个简单的步骤示例： 1. 首先，确保你已经安装了 PyTorch-CycleGAN-and-pix2pix 库。你可以使用以下命令安装： ``` pip install git+https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix ``` 2. 下载预训练模型。你可以在 CycleGAN 和 pix2pix 的模型网页（https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix#model-checkpoints）上找到预训练模型的链接。下载并解压缩模型文件夹。 3. 创建一个配置文件。在模型文件夹中，复制并重命名 `test_opt.txt.example` 文件为 `test_opt.txt`。该文件用于配置测试参数。 4. 配置测试参数。打开 `test_opt.txt` 文件，并根据你的需求修改参数。重要的参数包括 `dataroot`（数据集的路径）和 `name`（模型名称）。 5. 运行测试脚本。使用以下命令运行测试脚本： ``` python test.py --dataroot ./path/to/dataset --name pretrained_model_name --model test_model_name ``` 确保将 `./path/to/dataset` 替换为你的数据集路径，`pretrained_model_name` 替换为你下载的预训练模型文件夹的名称，`test_model_name` 替换为你想要使用的测试模型的名称（如 `cycle_gan` 或 `pix2pix`）。 6. 查看结果。测试完成后，生成的结果将保存在模型文件夹中的 `results` 子文件夹中。 请注意，这只是一个基本的示例，你可能需要根据你的具体情况进行更多的配置和调整。你可以参考 PyTorch-CycleGAN-and-pix2pix 库的文档以获取更多详细信息和用法示例。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值