马普所Nerf新作《TensoRF》阅读笔记

链接:

  1. Arxiv链接:https://arxiv.org/pdf/2203.09517.pdf
  2. 主页链接:https://apchenstu.github.io/TensoRF/
  3. 代码链接:https://github.com/apchenstu/TensoRF

视频:

TensoRF: Tensorial Radiance Fields

作者是上科大虞老师学生陈安沛,现在德国马普所AG组做博士后,非常优秀的一篇nerf文章。

创新点:

本文提出了一种nerf重建与表达的新范式,核心思想是将单个4D神经辐射场利用张量分解技术,使用多个紧凑的因子化的低秩张量组件来重建,即下图:
4D场景表示分解为多个tensor分量
左边是场景,右边是用了一些低秩张量组件来描述左边场景的外观(RGB)与几何变化( σ \sigma σ),XYZ每个维度都存在一组matrix和vector,体积密度( σ \sigma σ)和颜色(RGB)可以通过计算matrix与vector的外积(outer product)得到,这么做的好处是极大的提升了重建效率(训练时间)与效果(PSNR),降低了存储成本(模型存储大小),如下图:
训练时间与模型尺寸

方法:

- 分解方式:

首先,本文提出了两种分解方式(如下图):

  1. CP分解:将场景张量T分解为多个向量外积的和, τ = ∑ r = 1 R V r 1 ∘ V r 2 ∘ V r 3 \newline \tau=\sum_{r=1}^{R}V_r^1\circ V_r^2\circ V_r^3 τ=r=1RVr1Vr
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值