【传知代码】用二维图像渲染3D场景视频-论文复现

于 2024-05-25 18:41:10 发布
阅读量1k 收藏 27
点赞数 29
分类专栏： 传知代码 文章标签： 传知代码 用二维图像渲染3D场景视频 论文复现
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014096024/article/details/139201621
版权

文章目录

论文地址

本文涉及的源码可从用二维图像渲染3D场景视频该文章下方附件获取

概述

**NeRF（Neural Radiance Fields）**是一种基于神经网络的3D场景表示技术。NeRF代表神经辐射场，它通过神经网络隐式地学习一个三维场景，从而能够根据观察者的位置和视角渲染出任意视角下的清晰照片。该技术最早在2020年ECCV会议的最佳论文中提出，自此迅速发展并应用于多个技术方向，如新视点合成和三维重建。然而，在不同分辨率的训练或测试图像观察场景内容时，NeRF的渲染过程可能会产生过度模糊或伪影的图像。对于传统NeRF来说，使用多条光线对每个像素进行超采样的渲染方案是不实际的，因为渲染每条光线需要对MLP进行数百次查询。

本文提出的mip-NeRF模型，将NeRF扩展到连续值尺度上。通过向像素点投射一个锥形区域（而非光线）进行采样，mip-NeRF减少了伪影的产生，显著提高了NeRF对细节的表示能力，同时比NeRF快7%，仅为NeRF的一半大小。与NeRF相比，mip-NeRF在NeRF呈现的数据集上的平均误差率降低了17%，在多尺度变体数据集上降低了60%。此外，mip-NeRF还拥有与超采样NeRF相当的准确性，而速度快22倍。

原理介绍

  • NeRF（Neural Radiance Fields） 技术原理

    • NeRF使用一个多层感知机（MLP）神经网络去隐式地学习一个静态3D场景。这个网络接收一个5D向量（空间位置x, y, z，观察方向θ, φ）作为输入，并输出该空间点的颜色和密度。

    • 通过体积渲染技术，将这些颜色和密度信息积累起来，从而生成任意视角下的图像。

      NeRF使用一个连续的5D函数来表示场景，并使用少量的输入视图来优化这个函数以生成复杂场景的新视角。NeRF使用基于MLP的全连接神经网络来表示场景，输入为一个连续的5D坐标，包括空间位置(x,y,z)**和**观察视角(θ, φ)，输出为该空间位置的体密度σ和与视角相关的RGB颜色。通过沿着相机射线查询MLP并使用经典的体渲染技术将输出颜色和密度投影到图像中来生成新视图。

在这里插入图片描述

mip-NeRF模型技术原理

  • 多尺度表示：mip-NeRF采用多尺度表示方法，能够实时表示连续尺度空间的预过滤辐射场。这种表示方法使得模型能够更好地处理不同分辨率和尺度的场景。
  • 圆锥体采样：与NeRF使用单一光线进行采样不同，mip-NeRF使用圆锥体进行采样。这种方法有效地减少了混叠伪影，并显著提高了表现精细细节的能力。具体来说，mip-NeRF的输入是一个三维高斯，代表辐射场应被整合的区域，通过查询沿圆锥体的间隔来渲染一个预过滤的像素。
  • 综合位置编码：为了对一个三维位置及其周围的高斯区域进行编码，mip-NeRF提出了一个新的特征表示：综合位置编码（IPE）。这是对NeRF的位置编码（PE）的概括，允许空间的一个区域被紧凑地特征化。

mip-NeRF的改进

  1. 使用圆锥追踪代替光线追踪，从而显著改善了抗锯齿（伪影）效果。
  2. 使用集成位置编码（IPE）特征代替传统的位置编码（PE）特征，实现了更高效的采样和尺度编码。
  3. 通过单一的多尺度模型（而不是NeRF中的每个尺度单独的模型），使得mip-NeRF的准确性、效率和简单性都得到了提高。

在这里插入图片描述

模型介绍

Mip-NeRF是一种用于解决神经辐射场（NeRF）中降采样和抗锯齿问题的改进模型，模型的处理过程如下：

  1. 对于场景中的每个像素，从相机的中心沿着像素中心的方向投射一个圆锥。
  2. 计算每个采样间隔的集成位置编码（IPE）特征，作为多层感知机（MLP）的输入。
  3. MLP输出密度和颜色，用于渲染场景。

环境配置/部署方式

安装环境

  1. 克隆项目源码

    # 使用git克隆源码（笔者发现该源码由于作者更新过以后出现了些bug，
# 笔者已经fork到自己的仓库，并修复了bug，推荐大家直接clone笔者的仓库）
# git clone https://github.com/hjxwhy/mipnerf_pl.git #原作者仓库
git clone https://github.com/Ryan2ky/mipnerf_pl.git
# 进入项目目录
cd mipnerf_pl

  2. 用conda创建虚拟环境

    # 创建虚拟环境（推荐python版本为3.9.12）
conda create --name mipnerf python=3.9.12
# 激活环境
conda activate mipnerf
# 安装最新版的pip工具
conda install pip
pip install --upgrade pip
# 使用pip安装依赖库
pip install -r requirements.txt

    注意：如果使用的linux环境不支持桌面GUI，请将requirements.txt中的opencv-python==4.5.4.58依赖改为无头版本的opencv-python-headless==4.5.4.58

  3. 安装pytorch依赖

    可以前往Start Locally | PyTorch根据自己的操作系统环境选择合适的pytorch版本：

    在这里插入图片描述

    注意：pytorch的cuda工具包版本应根据显卡所支持的cuda版本选择（可使用nvidia-smi命令查看）

    （一般应满足：[pytorch+cuda]版本 <= [Cuda]版本）

    在这里插入图片描述

    1. 执行安装命令：

      pip3 install torch torchvision torchaudio

准备数据

  • 在项目根目录中创建一个data目录用来存放训练数据

  • 我们使用谷歌官方的NeRF数据集（下载链接见附件README.md中的Dataset小节）进行实验，将nerf_synthetic.zip 下载并解压到data目录下

  • 将nerf_synthetic数据集转换成多尺寸mipmap数据集

    python datasets/convert_blender_data.py --blender_dir ./data/nerf_synthetic --out_dir ./data/multiscale

至此，我们拥有了2个数据集，结构如下：

  • data
    • nerf_synthetic（单一尺寸Blender数据集）
    • multiscale（多尺寸Blender数据集）

训练（train）

我们以lego这一数据集为例，进行单尺寸和多尺寸的训练：

  1. 配置

    我们可以在configs文件夹下配置训练的参数，默认使用的是configs/default.yaml，其中已经配置好了lego场景的参数，我们可以复制一份到lego-multiscale.yaml，并修改exp_name为lego_multiscale加以区分。读者还可以根据需求配置一些其他的参数，例如：

    • check_interval：验证并保存模型的频率，该参数表示每经过一定步数，即进行一次验证，并保存模型到ckpt文件夹下。
    • resume_path：从ckpt恢复模型以继续训练，首次训练时应当设为None表示无需从ckpt恢复。

  2. 训练

    # 训练单一尺寸数据集
python train.py --out_dir ./out --data_path ./data/nerf_synthetic/lego --dataset_name blender
# 训练多尺寸数据集
python train.py --out_dir ./out --data_path ./data/multiscale/lego --dataset_name multi_blender --config ./config/lego-multiscale.yaml

  3. 中断与恢复

    默认配置下，训练会不断进行（不超过max_steps）,当认为差不多时，可以手动ctrl+c终止训练。训练模型保存在./out/{exp_name}/ckpt中。

    如果因为异常导致终止，我们也可以从之前保存的ckpt中恢复，只需在配置文件中指定resume_path为具体的ckpt文件即可。

评估（eval）

#单尺寸模型评估
python eval.py --ckpt ./out/lego/ckpt/last.ckpt --data ./data/nerf_synthetic/lego --out_dir ./out --scale 1 --save_image
#多尺寸模型评估
python eval.py --ckpt ./out/lego_multiscale/ckpt/last.ckpt --data ./data/multiscale/lego --out_dir ./out --scale 4 --save_image

评估结果存放在./out/{exp_name}/test下。

渲染（render）

# 单尺寸模型渲染
python render_video.py --ckpt ./out/lego/ckpt/last.ckpt --out_dir ./out --scale 1
# 多尺寸模型渲染
python render_video.py --ckpt ./out/lego_multiscale/ckpt/last.ckpt --out_dir ./out --scale 4

渲染结果保存在./out/{exp_name}/render_spheric下。

小结

mip-NeRF在3D渲染、虚拟现实、增强现实等领域具有广泛的应用前景。其能够合成逼真场景和模型的能力使得它在游戏制作、影视特效以及仿真培训等方面具有巨大的潜力。随着技术的不断发展，mip-NeRF有望在未来发挥更大的作用。

在这里插入图片描述

度假的小鱼
关注
  • 29
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
PointNet++论文复现（一）【PontNet网络模型代码详解 - 分类部分】
晨的博客
03-22 1353
PointNet++论文复现（一）【PontNet网络模型代码详解 - 分类部分】
【论文翻译】从零开始PointNet论文分析与代码复现
BatFlo_wsh的杂货铺
04-21 7272
本文从零开始研读PointNet，预计从四个方面进行学习。 刚起步望各位大佬及时指正不足~
【mip-NeRF】使用一组二维图像渲染3D场景视频（mip-NeRF论文复现）
Ryan2k的博客
04-23 864
本文对mip-NeRF模型的pytorch实现进行了复现
【Instant-NGP】将图像、3D模型、场景迅速参数化为神经网络MLP（Instant-NGP论文复现）
Ryan2k的博客
04-28 1236
英伟达实验室在Instant-NGP论文中提出了一种多分辨率哈希编码方法，用于改善神经网络输入以提高近似质量和训练速度，并将其融合CUDA内核实现了对图像、sdf模型、NeRF模型等场景的三维重建。 本文简单介绍了Instant-NGP的基本原理，并对官方源码进行了复现。
【动态三维重建】Deformable 3D Gaussians 可变形3D GS用于单目动态场景重建（CVPR 2024）
qq_45752541的博客
03-20 1925
隐式神经表示为动态场景重建和渲染的新方法铺平了道路。尽管如此，先进的动态神经渲染方法很大程度依赖这些隐式表示，经常难以捕捉场景中物体的复杂细节。此外，隐式方法在一般动态场景中实现实时渲染，限制了它们在各种任务中的使用。为了解决这一问题，我们提出了一种可变形的三维高斯分布的splatting 方法，该方法使用三维高斯分布来重建场景，并在具有变形场的规范空间中学习它们，以建模单目动态场景。我们还引入了一种没有额外开销的退火平滑训练机制，它可以减轻不准确的姿态对真实世界数据集中时间插值任务的平滑性的影响。
论文复现《SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM》
猪猪和超超的博客
04-18 1766
本人聚焦于最新的3D-Gaussian Splatting算法，结合CVPR2024的论文SplaTAM进行复现和算法的讲解，旨在为入门学习SLAM和三维视觉的小伙伴们提供学习思路。
论文翻译：《DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries》
Sual
10-19 6267
DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries   这篇论文的四个作者分别来自麻省理工学院、丰田研究院、卡耐基梅隆大学、理想汽车，最近被CORL 2021接收。 论文链接：https://export.arxiv.org/abs/2110.06922 官方开源代码：https://github.com/WangYueFt/detr3d Abstract   我们介绍了一种用于多相机3D目标检测的框架。现
Meta提出Make-A-Video3D：一行文本，生成3D动态场景！
阿木寺的博客
03-19 1094
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【计算机视觉】微信技术交流群转载自：机器之心不再需要任何 3D 或 4D 数据，来自 Meta 的研究者首次提出了可以从文本描述中生成三维动态场景的方法 MAV3D (Make-A-Video3D)。仅输入一行文本，就能生成 3D 动态场景？没错，已经有研究者做到了。可以看出来，目前的生成效果还处于初级阶段，只能...
FDk三维图像重建投影数据--参考论文.zip
01-19
FDk三维图像重建投影数据FDk三维图像重建投影数据
二维图像（二维图像的压缩感知重构算法程序代码、内含完整的MATLAB代码）
05-31
二维图像（二维图像的压缩感知重构算法程序代码、内含完整的MATLAB代码）
二维猫映射图像加密matlab代码-非等长
08-10
基于二维猫映射的图像加密matlab源码-非等长图像 可直接运行测试加密前后的灰度统计直方图，相邻像素相关性，相关系数 增强：突破传统二维猫映射只能加密等长图片的限制
矿井复杂环境视频监控图像增强算法研究-论文
07-08
针对井下环境亮度低，粉尘严重等造成监控视频图像光照不均匀以及模糊不清等问题，提出了基于二维伽马函数实现井下视频图像增强的算法。该算法运用具有边缘保持性的引导滤波提取光照分量，通过二维伽马函数自适应调整...
三维重建-使用神经3D网络渲染器实现单图像三维重建-优质项目实战.zip
03-24
三维重建_使用神经3D网络渲染器实现单图像三维重建_优质项目实战
一段基于Rust语言的计算斐波那契数列的代码
06-16
一段基于Rust语言的计算斐波那契数列的代码
神经网络详细介绍.docx
06-16
神经网络（Neural Network）是一种模仿生物神经系统结构和功能的计算模型。它由大量的神经元（或称为节点）组成，这些神经元通过突触（或称为连接）相互连接。神经网络可以用于各种人工智能任务，如图像识别、语音识别、自然语言处理等。 神经网络的基本结构包括输入层、隐藏层和输出层。其中，输入层接收外界的输入信息，隐藏层通过各种激活函数对输入信息进行处理和转换，输出层则将处理后的信息输出给外界。此外，神经网络还包括权重和偏置等参数，它们用于控制神经元之间的连接强度和偏移量。 神经网络的训练过程通常采用反向传播算法，即从输出层开始，根据输出误差向后传递并计算每个神经元的误差，然后根据误差调整神经元的权重和偏置，直到整个网络的输出误差达到最小值。 神经网络的应用非常广泛，如人脸识别、语音识别、自然语言处理、医疗诊断、金融预测等领域。随着深度学习技术的发展，神经网络的层数也越来越深，处理的信息也越来越复杂。
基于matlab 9 电平 H 桥逆变器.zip
06-16
代码下载：完整代码，可直接运行 ；运行版本：2022a或2019b或2014a；若运行有问题，可私信博主； **仿真咨询 1 各类智能优化算法改进及应用** 生产调度、经济调度、装配线调度、充电优化、车间调度、发车优化、水库调度、三维装箱、物流选址、货位优化、公交排班优化、充电桩布局优化、车间布局优化、集装箱船配载优化、水泵组合优化、解医疗资源分配优化、设施布局优化、可视域基站和无人机选址优化 **2 机器学习和深度学习方面** 卷积神经网络（CNN）、LSTM、支持向量机（SVM）、最小二乘支持向量机（LSSVM）、极限学习机（ELM）、核极限学习机（KELM）、BP、RBF、宽度学习、DBN、RF、RBF、DELM、XGBOOST、TCN实现风电预测、光伏预测、电池寿命预测、辐射源识别、交通流预测、负荷预测、股价预测、PM2.5浓度预测、电池健康状态预测、水体光学参数反演、NLOS信号识别、地铁停车精准预测、变压器故障诊断 **3 图像处理方面** 图像识别、图像分割、图像检测、图像隐藏、图像配准、图像拼接、图像融合、图像增强、图像压缩感知 **4 路径规划方面** 旅行商问题（TSP）、车辆路径问题（VRP、MVRP、CVRP、VRPTW等）、无人机三维路径规划、无人机协同、无人机编队、机器人路径规划、栅格地图路径规划、多式联运运输问题、车辆协同无人机路径规划、天线线性阵列分布优化、车间布局优化 **5 无人机应用方面** 无人机路径规划、无人机控制、无人机编队、无人机协同、无人机任务分配 **6 无线传感器定位及布局方面** 传感器部署优化、通信协议优化、路由优化、目标定位优化、Dv-Hop定位优化、Leach协议优化、WSN覆盖优化、组播优化、RSSI定位优化 **7 信号处理方面** 信号识别、信号加密、信号去噪、信号增强、雷达信号处理、信号水印嵌入提取、肌电信号、脑电信号、信号配时优化 **8 电力系统方面** 微电网优化、无功优化、配电网重构、储能配置 **9 元胞自动机方面** 交通流 人群疏散 病毒扩散 晶体生长 **10 雷达方面** 卡尔曼滤波跟踪、航迹关联、航迹融合
pyzmq-16.0.4.tar.gz
最新发布
06-16
Python库是一组预先编写的代码模块，旨在帮助开发者实现特定的编程任务，无需从零开始编写代码。这些库可以包括各种功能，如数学运算、文件操作、数据分析和网络编程等。Python社区提供了大量的第三方库，如NumPy、Pandas和Requests，极大地丰富了Python的应用领域，从数据科学到Web开发。Python库的丰富性是Python成为最受欢迎的编程语言之一的关键原因之一。这些库不仅为初学者提供了快速入门的途径，而且为经验丰富的开发者提供了强大的工具，以高效率、高质量地完成复杂任务。例如，Matplotlib和Seaborn库在数据可视化领域内非常受欢迎，它们提供了广泛的工具和技术，可以创建高度定制化的图表和图形，帮助数据科学家和分析师在数据探索和结果展示中更有效地传达信息。
二维图像分形维数代码
06-13
二维图像的分形维数是描述复杂几何结构自相似性质的一个数值指标。计算分形维数通常使用盒-counting（又称Minkowski-Bouligand维度）方法或FRACTAL_DIMENSION函数。在Python中，你可以使用`skimage`库中的`fractal_dimension`函数来进行计算，这是一个基于Mandelbrot集或其他分形图样的示例。 以下是一个简单的代码片段，展示了如何使用`scikit-image`计算二维图像的分形维数： ```python from skimage import measure import matplotlib.pyplot as plt import numpy as np # 假设你已经有了一个二维灰度图像数据array，例如 Mandelbrot 图像 image = ... # 替换成你的实际图像数据 # 将图像转换为二值图像，便于处理 binary_image = image > threshold # 可能需要调整阈值 # 计算分形维数 fd = measure.fractal_dim(binary_image) print(f"二维图像的分形维数大约是: {fd}") # 如果你想可视化分形维数的分布，可以创建一个热力图 plt.imshow(fd, cmap='hot', interpolation='nearest') plt.colorbar() plt.show() ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

度假的小鱼

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值