TensoRF: Tensorial Radiance Fields

最新推荐文章于 2024-10-17 21:39:20 发布
原创 最新推荐文章于 2024-10-17 21:39:20 发布 · 2k 阅读 · 30 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #计算机视觉 #人工智能

TensoRF通过引入张量分解技术，将4D辐射场表示为低秩张量分量，提升重建质量和速度，同时减少模型体积。论文结合显示和隐式表示，使用VM分解处理体密度和颜色特征，实验中在Lego数据集上展示了高效建模的效果。

TensoRF: Tensorial Radiance Fields

TensoRF是ECCV2022一个非常有特色的工作。作者在三维场景表示中引入张量分解的技术，将4D张量分解成多个低秩的张量分量，实现更好的重建质量、更快的重建速度、更小的模型体积。

文章目录

一、论文想法

TensoRF并没有采用像原始NeRF一样纯粹的隐式表示方法，更像是一种显示+隐式结合表示的方法，将场景建模为一个四维的张量，张量中的每一项代表一个体素，体素内包含了体积密度和多维的特征信息。

在这里插入图片描述

论文的中心思想是，使用张量分解技术，将4D张量分解成多个低秩的张量分量，实际处理时不用建模出这个4D张量，而用一系列1D向量、2D矩阵表示，从而降低显存消耗，提高运算速度。

二、张量分解-数学原理

外积(outer product)是线性代数中的一类重要运算，对于n维和m维的两个向量，其外积定义为一个n × m的矩阵。即，由u中的每个元素和v中的每个元素相乘得到的m × n阶矩阵A：

在这里插入图片描述

例如，当m=4, n=3时，有：

在这里插入图片描述

如果一个张量可以写成N个向量的外积，这个张量就是秩一张量。

在这里插入图片描述

其中张量中的每一个元素为：

最低0.47元/天 解锁文章
【CVPR 2022】Deblur-NeRF: Neural Radiance Fields from Blurry Images
梁瑛平的博客
09-16 1235
神经辐射场（NeRF）由于其显著的合成质量，近年来在三维场景重建和新的视图合成方面得到了广泛的关注。然而，在野外捕捉场景时经常发生的由离焦或运动引起的图像模糊，严重降低了其重建质量。为了解决这个问题，本文提出了 Deblur-NeRF，这是第一种可以从模糊的输入中恢复清晰的 NeRF 的方法。为此作者采用了一种综合分析的方法，通过模拟模糊过程来重建模糊视图，从而使 NeRF 对模糊输入具有鲁棒性。
【Paper Notes】TensoRF: Tensorial Radiance Fields
S_Kross的博客
12-09 1063
TensoRF: Tensorial Radiance Fields 是上海科技大学和Adobe合作发表的一篇文章。最终发表于ECCV 2022上。
77、TensoRF: Tensorial Radiance Fields
小白的博客
01-25 2009
TensoRF
马普所Nerf新作《TensoRF》阅读笔记
weixin_38210977的博客
10-29 362
主页链接：https://apchenstu.github.io/TensoRF/
【论文阅读】TensoRF: Tensorial Radiance Fields 张量辐射场
进阶中的程序员吃吃的博客
03-04 2563
本文提出了TensoRF，一种建模和重建辐射场的新方法。不同于NeRF中纯粹使用了MLP，本文将场景的辐射场用4D张量表示，代表了一个3D体素网格，每个体素具有多通道特征。中心思想是将4D场景张量分解成多个紧凑的低秩张量分量。在本文框架中应用传统的CP分解（将张量分解成具有紧凑的秩一向量）可以带来对普通NeRF的改进。为了进一步提高性能，本文引入一种新的向量矩阵分解（VM分解），它放宽了张量两种模式的低秩约束，并将张量分解为紧凑的向量和矩阵因子。
更好！更快！更小！TensoRF-Paddle：张量辐射场的Paddle复现
m0_63642362的博客
05-13 719
比其他NeRF方法更好的渲染效果！更快的训练速度！更小的内存占用！TensoRF-Paddle：张量辐射场的Paddle版本复现，让你在AI Studio将其玩起来！
TensoRF-张量辐射场论文笔记
ysh的博客
05-18 1064
TensoRF-张量辐射场论文笔记_什度学习的博客-CSDN博客注释代码: https://github.com/xunull/read-TensoRF 官方源码：https://github.com/apchenstu/TensoRF 配置清华园 pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple pip install -i https://pypi.tuna.tsinghua.edu.cn/simpl
论文笔记：D-NeRF:Neural Radiance Fields for Dynamic Scenes
blueag1e的博客
02-07 1793
D-NeRF:Neural Radiance Fields for Dynamic Scenes
GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis
weixin_53765004的博客
04-17 649
虽然二维生成对抗网络能够实现高分辨率的图像合成，但是它们在很大程度上缺乏对三维世界和图像形成过程的理解。因此，他们不提供精确的控制相机的观点或对象的姿态。为了解决这个问题，最近的一些方法利用了中间基于体素的表示结合可微渲染。然而，现有的方法要么产生较低的图像分辨率，要么在相机和场景的分离属性方面存在不足，例如，物体的识别可能会因视点的不同而不同。在这篇文章中，我们提出了一个辐射场的生成模型，这个辐射场最近被证明是成功的，用于单个场景的新视图合成。
经验拾忆（纯手工）=＞ Tensorf
qq_43934844的博客
12-02 226
经验拾忆（纯手工）=> Tensorf
TensoRF （2）tensoRF.py
qq_58104987的博客
10-17 218
【代码】TensoRF （2）tensoRF.py。
Tensorf实战第九课（自编码AutoEncoder）
weixin_30297281的博客
08-09 192
本节我们将了解神经网络进行非监督形式的学习，即autoencoder自编码 假设图片经过神经网络后再输出的过程，我们看作是图片先被压缩然后解压的过程。那么在压缩的时候，原有的图片质量被缩减，解压时用信息量小却包含所有关键信息的文件恢复出原本的图片。 为什么要这么做呢？ 因为当神经网络接收大量信息时，神经网络在成千上万个信息源中学习是一件比较吃力的事。所以进行压缩，从...
TensorFlow指南（一）——上手TensorFlow
01-15 2192
http://blog.csdn.net/u011239443/article/details/79066094 TensorFlow是谷歌开源的深度学习库。不多介绍，相信准备学习TensorFlow的同学也会自己去更多的了解。本系列博文讲尽量不涉及深度学习理论，但是会给出相关理论对应的博文等资料供大家参阅。 这里，首先要跟大家介绍一个计算图的概念： TensorFlow会根据代码先创建
看TensoRF过程中积累小知识点
Liu_First的博客
02-23 4274
主要是学到了一些torch的函数，记录一下。
什么是tensorflow
热门推荐
wyg_031113的专栏
07-11 3万+
什么是tensorflow tenroflow是Google开源软件库，为机器学习工程中的问题提供了一整套解决方案。类比于Spark/Flink是大数据工程问题的解决方案。 该软件库把机器学习中的通用功能封装成了库，并提供了简易的API，使得在构建机器学习系统时不再需要做那些纷繁复杂的数学或 者工程工作，能把主要精力放在模型和业务上。这就像现在使用编程语言进行编程时，不再需要知道计算机硬件的细节，不用知道CPU的指令集。从这个意义上说，tensorflow 让机器学习工程从汇编语言时代，上升到了高级语言
探索未来渲染的边界：TensoRF项目深度解析与推荐
gitblog_00435的博客
08-19 754
探索未来渲染的边界：TensoRF项目深度解析与推荐 在计算机图形学和深度学习的交汇处，有一个令人瞩目的新星——TensoRF。这个基于PyTorch实现的开源项目，以其革命性的技术理念，正逐渐改变着我们对3D场景建模和渲染的认知。通过本文，我们将一起深入探索TensoRF的魅力，了解它是如何达到超快训练速度、紧凑内存占用与顶级渲染质量这一壮举的。 项目介绍 TensoRF，作为一篇引人注目的学术...
TensorFlow基础
云中寻雾的博客
07-27 3754
tensorflow简介 TensorFlow 是一个面向于深度学习算法的科学计算库，内部数据保存在张量(Tensor)对 象上，所有的运算操作(Operation, OP)也都是基于张量对象进行。 核心概念 TensorFlow 中的计 算可以表示为一个有向图( directed graph ) ，或称计 (computation graph) 每一个运算操作 operation )将作为一个节点( node )，节点与 节点之间的连接称为边 (edge) 。这个计算图描述了数据的计算流程，它
Tetra-NeRF
CCChester的博客
05-13 558
这是一个对体素点云进行nerf重建的方法，对使用纹理渲染后的点云地图的补全和照片级重建很有参考价值。文章提出使用和来代替均匀细分或基于点的场景表示。下面大概是引言部分：先是一开始得nerf是怎么做的，有什么问题，一些方法怎么解决的，有什么问题，最后Te怎么解决的。贡献：1、输入为点云，2、与point-nerf比较、3、开源了代码。作者是如何使用Delaunay triangulation 代替 用于体渲染和神经渲染的体素？
Neural Radiance Fields Julia
最新发布
03-09
### 实现 Neural Radiance Fields (NeRF) 的 Julia 版本 Neural Radiance Fields 是一种用于从多视角图像合成新视图的技术。该方法通过训练一个连续的场景函数来表示三维环境中的辐射度，从而能够渲染高质量的新视角图像。 在 Julia 中实现 NeRF 需要几个关键组件： 1. **数据准备** 数据集通常由一组不同角度拍摄的对象或场景的照片组成。这些照片需要经过预处理以便于后续模型训练[^1]。 2. **网络架构设计** 使用深度学习库 Flux 或 Knet 来构建一个多层感知器(MLP)，这个 MLP 将位置坐标作为输入并预测对应的颜色和体积密度值。为了提高效率，可以采用分层采样策略以及引入空间编码技术如 Positional Encoding[^2]。 3. **损失函数定义** 定义合适的损失函数对于优化至关重要。常见的做法是计算预测像素颜色与真实图片之间的均方误差(MSE)[^3]。 4. **渲染过程模拟** 渲染阶段涉及到沿着射线积分得到最终观察到的颜色。这一步骤可以通过数值积分完成，在实践中常用的方法有反向投影法等[^4]。 下面是一个简单的伪代码框架展示如何用 Julia 和 Flux 库搭建基本版 NeRF: ```julia using Flux, Statistics, Random struct NerfModel model::Chain end function positional_encoding(x, L=10) encoded = [] for i in 0:L-1 push!(encoded, sin.(2^(i)*π*x)) push!(encoded, cos.(2^(i)*π*x)) end vcat(encoded...) end # 初始化神经网络结构 nerf_model = Chain( Dense(63, 256, relu), Dense(256, 256, relu), Dense(256, 256, relu), Dense(256, 4) ) # 训练循环简化版本 for epoch in 1:num_epochs # 获取一批次的数据 batch_data = get_batch() # 前向传播 predictions = nerf_model(positional_encoding(batch_data["points"])) # 计算损失 loss_value = mean((predictions .- batch_data["colors"]) .^ 2) # 反向传播更新参数... end ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值