【论文笔记】BA-NeRF == CMU == ICCV‘2021

已于 2023-02-27 15:13:26 修改
阅读量436 收藏
点赞数 1
分类专栏： 论文笔记 文章标签： 人工智能 计算机视觉
于 2022-09-06 21:00:08 首次发布
HUIKI
本文链接：https://blog.csdn.net/nismilesucc/article/details/126214468
版权

蓝色
紫色
红色

BARF: Bundle-Adjusting Neural Radiance Fields

Author From:

在这里插入图片描述

Abstract

NeRF的缺点之一是需要 准确的相机位姿 来学习场景表示。本文提出了BA-NeRF，可以使用不完美（甚至未知）的相机位姿来训练NeRF（联合解决3D场景表示和相机帧对齐）。本文联系了经典的图像对齐理论，并表明 从粗到精的对齐方法 也适用于NeRF。并且，如果使用位置编码对于合成图像的对齐是不利的。在合成数据和真实数据上的实验表明，BA-NeRF可以同时 有效优化场景表示和解决大的相机位姿偏移 。这使得从未知相机位姿进行视频序列的视图合成和定位成为可能，为视觉定位系统（例如SLAM）和密集3D映射和重建的潜在应用开辟了新的途径。

CVPR 2023: BAD-NeRF: Bundle Adjusted Deblur Neural Radiance Fields
结构化论文学习和写作
02-21 339
1. 问题域2. 方法3. 图像质量关注4. 场景动态5. 相机姿态处理6. 技术1. 问题域2. 方法3. 图像质量关注4. 场景动态5. 相机姿态处理6. 技术专注于显式、集成去模糊相机姿态和场景的联合优化处理动态场景范围差异
CVPR 2023 精选论文学习笔记：NoPe-NeRF Optimising Neural Radiance Field with No Pose Prior
结构化论文学习和写作
11-21 815
多视图：多视图是指使用多张图像来重建或渲染场景。这是一种更常见的方法，因为它提供了有关场景的更多信息，这使得推断深度和重建。视图合成：视图合成是指从现有视图生成场景的新视图的任务。深度估计：深度估计是指从图像或视频中估计场景深度的任务。的姿态，从而使其能够在没有姿态先验的情况下重建场景。室外场景：室外场景通常更复杂，照明条件更丰富多样，这使得它们使用。室内场景：室内场景通常更结构化，照明更一致，这使得它们使用。3. 技术：技术是指用于重建或渲染场景的特定方法。4. 应用：应用是指算法设计的特定类型的场景。
ICCV 2021 | BA NeRF 神经辐射场 (BARF)
3D视觉工坊
12-06 2523
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达来源丨计算机视觉SLAM作者丨RealcatNeural Radiance Fields (NeRF) 最近在计算机视觉领域获得了极大...
论文解读：BARF: Bundle-Adjusting
AI_Conf的博客
08-04 1507
论文解读：BARF: Bundle-Adjusting Neural Radiance Fields 由于神经网络辐射场（NeRF）具有合成真实世界场景的逼真新视图的能力，近来其已经引起计算机视觉研究界广泛的关注。NeRF的一个限制在于其需要准确的相机姿态来学习场景表征。作者提出的BARF可以从不完美（甚至是未知）相机的姿态来训练NeRF。通过利用经典的图像对齐理论，作者发现对于NeRF从粗到细的图像配准同样适用。合成数据和真实世界数据的实验表明，BARF 可以有效地优化场景表示，同时解决大型相机姿势错位问
论文随记｜BARF : Bundle-Adjusting Neural Radiance Fields
天下对手教会少林武僧
02-21 350
NeRF需要准确相机标定，本文想在不完美相机标定或完全未知标定情况下重建，学习三维表示并配准相机帧，bundle-adjustment是sfm中的一种方法。nerf等重建方法对相机位姿要求严苛，最简单的想法是通过back-propagation对相机位姿也同时优化，但是在实践中发现这对初始化很敏感，而且容易收敛到次优解，降低重建质量。显然的是如果每像素的预测之间有关系（即信号是光滑的），那么。，这对预测来说是很不好的，适合重建中学习高频信号但是不适合配准中的学习，图像配准更希望平滑的信号。
10、BARF
小白的博客
08-11 1107
BARF
point-nerf复现代码
05-30
point-nerf复现代码，github上提供的源码比较乱，而且在复现的时候一直出现bug，于是在测试point-nerf时将里面的代码进行了更改。在源码的基础上，将nerf_synth360_ft_dataset.py；evaluate.py；test_ft.py；...
mega-nerf安装流程
Hound_的博客
11-20 1592
mega-nerf这篇论文用自定义数据集为什么就复现不出来，会出现loss=nan的错误呢？
ICCV21论文解读 | AD-NeRF：用于说话人头部合成的音频驱动神经辐射场
shenlanshenyanai的博客
11-30 3956
作为构建未来虚拟世界诸多应用的主干，如何创造栩栩如生的虚拟数字人，一直是计算机视觉、计算机图形学与多媒体等人工智能相关学科密切关注的重要研究课题。近日，中国科学技术大学联合的卢深视科技有限公司、浙江大学与清华大学共同打造的 AD-NeRF 技术，引发了学界及业界关注。来自中科大张举勇课题组等机构的研究者们在近期大火的神经辐射场（NeRF: Neural Radiance Fields）技术基础上，提出了一种由语音信号直接生成说话人视频的算法。仅需要目标人物几分钟的说话视频，该方法即可实现对该人物超级逼真的形
数字人项目 ER-NeRF 的使用和部署详细教程
iioSnail的博客
04-11 5784
ER-NeRF（官方链接）是一个（对嘴型）项目。即：给一段某人说话的视频，再给定一段音频，经过该模型后处理后，可将原视频的嘴型与音频保持一致。可以做到实时响应。即模型比较小，处理速度快。需要对“要对嘴型的视频”进行训练。也就是每段视频对应一个模型生成出的头部不够稳定。
NeRF论文解析 - Neural Radiance Field
sjjssuwjn的博客
03-03 8493
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
BARF阅读笔记----NeRF与Pose的联合优化
i_head_no_back的博客
03-30 962
🤮Bundle-Adjustment Neural Radiance Fields提出了一个联合优化粗糙相机位姿与NeRF模型的新问题，并证明了适用于传统图像配准的coarse-to-fine方法也同样适用于NeRF。作者发现原有NeRF的naive position encoding方法会对图像合成产生不良影响。与上文的区别是，BARF采用了联合优化的方式，将Pose Refinement这一问题又提升到了新的高度，相信对未来的offline pose estimation将会产生重大意义。
BARF: Bundle-Adjusting Neural Radiance Fields论文阅读
人无远虑，必有近忧
03-18 1085
随着2020年NeRF[1]的横空出世，神经辐射场方法（Neural Radiance Fields）如雨后春笋般铺天盖地卷来。NeRF最初用来进行图像渲染，即给定相机视角，渲染出该视角下的图像。NeRF是建立在已有相机位姿的情况下，但在大多数的机器人应用中，相机的位姿是未知的。随后，越来越多的工作应用NeRF的技术既估计相机位姿又对环境进行重建，即NeRF-based SLAM （Simultaneously localization and mapping）。 将深度学习与传统几何融合是SLAM发展的
NeRF 系列论文学习
weixin_43850560的博客
10-23 209
NeRF 系列论文学习
2021-2023神经辐射场（NeRF）118篇顶会论文合集（已分类整理）
学姐带你玩AI的博客
11-07 1910
有没有发现最近神经辐射场相关话题又有点爆了？其实NeRF一直都挺火的，相关论文在Google Scholar上引用量已经超过6000次，每年顶级视觉会议如CVPR、ICCV、ECCV等都有大量关于神经辐射场的高质量工作被接受。许多科研机构和公司比如微软、Facebook、谷歌等都在研究神经辐射场的不同应用，有的已经将其应用于产品中，如捕捉人体动作等。今年有关NeRF的最新研究也有不少了，上次和你们简单分享了17篇，。这次我爆肝整理了论文资料已经帮大家做了分类，需要的同学看文末打包领走。
NeRF在处理光线差异上有什么不足
weixin_42613360的博客
02-15 401
NeRF是一种用于生成逼真的三维场景渲染的方法，它基于神经网络对场景中的物体进行建模，从而生成场景的图像。虽然NeRF在生成高质量图像方面取得了显著的成功，但它确实存在一些处理光线差异方面的不足。 具体而言，NeRF的主要不足之一是在处理遮挡和阴影等光线交互方面的表现较差。由于NeRF基于神经网络对场景进行建模，因此它缺乏明确的物理模型和光线传输方程的信息，这使得它难以捕捉光线与物体之间的交互，并...
NeRF without poses
IRONFISHER的博客
05-17 527
iNeRF是第一篇提出的优化无位姿NeRF的方法，其主要的思路是将位姿的优化纳入梯度流中，即每次反向传播的时候同时更新相机位姿的参数。在训练中，首先利用已经训练好的深度估计模型计算出每张图的位姿，然后再在warm-up阶段固定学习率，结合了考虑进深度的点云损失和表面损失来优化对相机位姿的学习。其贡献主要在于对positional encoding的改进，通过给予一个在训练过程中不断变化的权重以给其重新赋权的方式让模型在训练中逐渐的从关注低维信息转移关注到高维信息，能较好的避免陷入局部最优而难以优化的问题。
大汇总 | 9种基于神经辐射场NeRF的SLAM方法你都知道吗？
CV_Autobot的博客
12-24 3620
作者|秦通 编辑| 算法邦点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【SLAM】技术交流群后台回复【SLAM综述】获取视觉SLAM、激光SLAM、RGBD-SLAM等多篇综述！随着2020年NeRF[1]的横空出世，神经辐射场方法（Neural Radiance Fields）如雨后春笋般铺天盖地卷来。NeRF最初用来进行图像渲染，即给定相机视...
探索未来摄影：L2G-NeRF——局部到全局的神经辐射场配准框架
最新发布
gitblog_00017的博客
06-10 304
探索未来摄影：L2G-NeRF——局部到全局的神经辐射场配准框架 L2G-NeRF[CVPR 2023] L2G-NeRF: Local-to-Global Registration for Bundle-Adjusting Neural Radiance Fields项目地址:https://gitcode.com/gh_mirrors/l2/L2G-NeRF 项目链接：Project Pag...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值