自由视点合成中的表征学习（二）

已于 2024-01-04 00:12:34 修改
阅读量203 收藏 2
点赞数
分类专栏： Nerf学习记录 三维重建 文章标签： 学习 论文阅读 自由视点合成 nerf 三维重建
于 2023-07-12 16:51:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40514113/article/details/131685653
版权
文章探讨了在三维重建和神经渲染中的学习方法，特别是自由视点合成中的挑战，如恢复三维结构和处理非漫反射表面。它介绍了点云、mesh网格和radiancefield作为场景表示的不同方法，其中radiancefield因无需预重建和固定内存需求而具有优势。然而，Nerf的渲染速度慢，KiloNerf提出用数千个小MLP替代大MLP，以提高渲染速度而不牺牲质量。
摘要由CSDN通过智能技术生成

三维重建以及神经渲染中的学习

公众号AI知识物语

本文内容为参加过去一次暑期课程学习时的笔记，浅浅记录下。

自由视点合成中的表征学习

在这里插入图片描述

目标：给定单一场景多个图片以及相机位子，生成新视角下的图像
挑战：恢复三维场景结构，建模非漫反射表面
问题：采用何种场景表示？

三维可控图形生成中的表征学习

点云
在这里插入图片描述

mesh网格

在这里插入图片描述

radiance field
在这里插入图片描述

优点是无需预先重建，内存需求不随分辨率改变

缺点是合成速度慢

KiloNerf：Speeding up Neural Radiance Fields with Thousands of Tiny MLPs ICCV2021

KiloNerf：加速NeRF渲染
在这里插入图片描述

问题：Nerf渲染慢，一个图片需要MLP百万次前馈操作
解决方案：使用多个极小的MLP来替换深层的MLP，每个小MLP以及栅格方式组合在一起，互相不share，并且每个MLP只负责的一小块部分-----能够加速的同时保持速度不变

网络结构

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

出门吃三碗饭
关注
专栏目录
用于交互式自由视点视频的高效神经辐射场
qq_45605440的博客
05-22 459
本文旨在解决高效生产交互式自由视点视频的挑战。最近的一些工作为神经辐射场配备了图像编码器，使其能够跨场景泛化。在处理动态场景时，他们可以简单地将每个视频帧视为一个单独的场景，并进行新颖的视点合成来生成自由视点视频。然而，它们的渲染过程缓慢，无法支持交互式应用。一个主要的因素是它们在推断辐射场时在空空间采样了大量的点。我们提出了一种新颖的场景表示方法ENeRF，用于快速创建交互式自由视点视频。具体来说，给定一帧多视角图像，我们首先构建级联代价体来预测场景的粗几何结构。
【论文精读】HumanNeRF
YuhsiHu的博客
05-09 5711
NeRF人体三维重建HumanNeRF的论文精读
多面手机器人从网络视频中学习：综述
yorkhunter的博客
08-24 1005
24年6月来自英国UCL的论文“Towards Generalist Robot Learning from Internet Video: A Survey”。
Street View Synthesis with Gaussian Splatting and Diffusion Prior 学习笔记
jacke121的专栏
10-01 913
这些方法通常通过在大型多视图数据集 [3,5,23,49] 上微调文本到图像的扩散模型，转变为图像到图像的扩散模型，并将相对摄像机位姿作为条件，随后在神经渲染模型的训练中应用扩散模型进行正则化。当前的研究 [9,17,20,24,33,37,41,45,53] 主要探讨了街景合成面临的两个挑战：无限场景的重建和动态物体的建模。目前的工作通常采用从车辆捕获的视图，但这些视图在训练阶段未曾见过（如图 1 中的红色视点），而忽略了与训练视图偏离较大的新视图（如图 1 中的蓝色和绿色视点）。
Zero123 论文学习
calvinpaean的博客
08-06 973
尽管Zero-1-to-3模型是在合成数据集上训练的，但它保持了强大的零样本泛化能力，能够很好地适应分布外数据集的图像，包括印象派绘画。定性和定量的实验表明，Zero-1-to-3方法通过利用互联网的大规模数据的预训练，显著优于现有的单视图3D重建和新视角合成模型。但是，将扩散模型扩展到3D领域将需要大量的昂贵的带注释的3D数据。然而，大多数现有的3D图像重建方法都是在封闭世界（closed-world）设置中操作的，这是因为它们依赖于昂贵的3D注释，例如CAD模型或特定类别的先验知识。
NeRF 论文学习
calvinpaean的博客
07-27 586
论文链接：https://arxiv.org/pdf/2003.08934 代码链接：https://github.com/bmild/nerf 解决了什么问题？ 计算机视觉领域最近的一个方向就是将物体和场景编码到 MLP 的权重里面，直接将 3D 空间位置映射到一个隐式表示，它不直接描述物体的表面，而是通过一些隐式函数（如等值面或距离函数）来定义物体的表面。例如，有符号距离函数（SDF）可以表示物体表面的距离，其中正值表示物体外部，负值表示物体内部。但是这种方法在生成逼真复杂几何场景方面的局限性，它在真实
深度学习之遥感变化检测数据集整理
热门推荐
qq_41627642的博客
04-20 1万+
1、The River Data Set（高光谱河流变化检测数据） 该数据集包含两幅高光谱影像，分别于2013年5月3日和12月31日采集自中国江苏省的某河流地区，所用传感器为Earth Observing-1 (EO-1) Hyperion，光谱范围为0.4—2.5 μm，光谱分辨率为10 nm，空间分辨率为30 m，影像大小为463×241像素，共有242个光谱波段，去除噪声后有198个波段可用。影像中的主要变化类型是河道缩减。 图1 “River”数据集的高光谱影像 下载地址： 文件
浙大团队发表 3D 视图合成新方法，效果远超 NeRF、NV
HyperAI超神经
01-07 4378
By 超神经内容提要：只需几个不同视角的视频，就能把整个人体形象 360° 无死角地构建起来，不得不说，AI 的脑补能力越来越强大。这样的工具，今后将可能为影视业、体育节目呈现等带来新的...
论文解读：利用结构隐代码的隐神经表示方法来合成动态人体的新颖视角
CSS360的博客
01-30 169
从稀疏多视点视频合成表演者新颖视角图像。数据输入是通过同步的RGB相机捕获的表演者视频。体神经捕获表演者的3D几何和外表，用来进行3D重建和新颖视角合成。01 摘要本论文主要解决在稀疏排列相机情况下，捕捉人体来合成新颖视角图像。一些最近的工作在稠密的输入视角下利用3D场景隐神经表达方法，可以合成效果较好的视角图像。然而，当视角较为稀疏情况下，学习效果较差。为解决这个错乱问题，作者在视频帧上整合观察...
基于神经网络的多视点三维视频合成
5521∗∈基于神经网络的多视点三维视频合成Tianye Li1，2，米凯拉·斯拉夫切娃2，米 凯尔·佐尔霍费尔2西蒙·格林2克里斯托夫·拉斯纳2昌吉尔·金3坦纳·施密特2史蒂文·洛夫格罗夫2迈克尔·戈泽尔2理查德·纽科姆2...
动态单目视频合成动态视图的算法研究及其应用
视图(a)输入：单眼视频（b）输出：自由视点渲染图1.从动态单目视频合成动态视图 我们的方法将单目视频作为输入（a）。视频中的每个帧黄色和蓝色框架）。我们的目标是在任意相机视点和时间步长（红色帧）合成动态场景...
合成图像中的视觉显着性建模及评估方法
8789SID4VAM：一个用于视觉注意建模的合成图像基准数据集大卫·伯加1Xose 'R.法蒂玛-维达尔2泽维尔·奥塔祖1Xose 'M. Pardo21ComputerVisionCente r，Un iv ersitatAu to`nomadeBarcelona，西班牙2CiTIUS，圣地亚哥-...
【学习笔记】零基础入门汇编语言（ARM架构+汇编的实际应用）
2203_75993546的博客
10-08 913
汇编语言（Assembly Language）是任何一种用于电子或其他可编程器件的低级语言，亦称为。在汇编语言中，用代替的，用地址符号或代替指令或的地址。在不同的设备中，汇编语言对应着不同的，通过汇编过程转换成机器指令。特定的汇编语言和特定的机器语言指令集是的，不同平台之间不可直接移植。汇编是上世纪五十年代人们为了摆脱机器语言的繁琐而创造的，因此，比起机器语言，汇编语言具有更高的机器，更加便于记忆和书写，但又同时保留了机器语言高速度和高效率的特点。但汇编语言仍是。
Django学习笔记三：QuerySet使用详解
软件行业技术文化交流。
10-02 235
Django的QuerySet是Django ORM中用于表示数据库查询结果集合的对象。它提供了丰富的方法来操作和查询数据库。
10.2学习
2401_87363162的博客
10-02 1162
​ Spring AOP就是基于动态代理的，如果要代理的对象，实现了某个接⼝，那么Spring AOP会使⽤JDKProxy，去创建代理对象，⽽对于没有实现接⼝的对象，就⽆法使⽤ JDK Proxy 去进⾏代理了，这时候Spring AOP会使⽤基于asm框架字节流的Cglib动态代理 ，这时候Spring AOP会使⽤ Cglib ⽣成⼀个被代理对象的⼦类来作为代理。每个线程中都有一个自己的ThreadLocalMap类对象，可以将线程自己的对象保持到其中，各管各的，线程可以正确的访问到自己的对象。
学习记录：js算法（四十九）：二叉树的层序遍历
weixin_48677331的博客
10-01 428
任重而道远！
jmeter学习（7）beanshell
daxiashangxian的博客
10-06 312
打开日志选项，beanshell的log可以在日志中查看log.info("deviceId"）举例：获取返回数据中的字段。
如何学习大数据 (学习路线)
最新发布
言之。
10-08 671
学习大数据需要跨越多个领域，从存储、处理、分析到系统管理。通过系统化学习技术栈、动手实践项目、理解性能调优技巧，你可以逐渐掌握大数据的核心技能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值