论文阅读：InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering

最新推荐文章于 2024-11-13 22:04:20 发布
最新推荐文章于 2024-11-13 22:04:20 发布
阅读量872 收藏 2
点赞数
分类专栏： 神经辐射场 文章标签： 论文阅读 神经辐射场 信息熵
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/blueag1e/article/details/129123611
版权
该文提出了一种基于射线熵最小化的神经辐射场重建方法，旨在解决少视角下可能的重建不一致性和训练图像冗余视点导致的问题。通过引入熵约束和空间平滑性，以及使用KL散度进行密度正则化，优化模型在处理未见过的视角时的表现。
摘要由CSDN通过智能技术生成

中文标题：基于射线熵最小化的少视角神经辐射场

创新点

  • 通过对每条射线密度施加熵约束来最小化稀疏视角带来的潜在重建不一致性。
  • 此外，为了缓解所有训练图像都是从几乎冗余的视点获取时潜在的退化问题，我们进一步将空间平滑性约束纳入到估计的图像中，通过限制从具有略微不同的视点的额外光线中获得的信息。

提出的方法

通过射线熵最小实现正则

  • 归一化射线密度公式， α i \alpha_i αi​ 是射线不透明度

在这里插入图片描述 在这里插入图片描述

  • 射线熵：定义一个离散射线密度函数的熵
    在这里插入图片描述
  • R s 与 R u R_s与R_u Rs​与Ru​代表seen与unseen视角下的射线集。
  • 忽略非命中射线：射线熵最小化的一个问题是，虽然一些射线没有击中场景中的任何物体，但它们必须具有低熵。为了防止这个问题引起的潜在伪影，我们简单地忽略了低密度射线的熵最小化。
    在这里插入图片描述
  • 射线熵损失

在这里插入图片描述

  • 模型无法使用来自看不见图像的光线，而模型可以利用它们，因为熵正则化不需要基本真相。

正则信息增益减少

  • 使用KL散度约束相近的条射线之间的密度。
    在这里插入图片描述

参考文献

[1] Kim M, Seo S, Han B. Infonerf: Ray entropy minimization for few-shot neural volume rendering[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022: 12912-12921.

BlueagleAI
关注
专栏目录
AAAI 2022 论文列表
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
探索未来视界：InfoNeRF——少数样本次世代渲染的奇点
gitblog_00050的博客
06-15 463
探索未来视界：InfoNeRF——少数样本次世代渲染的奇点 去发现同类优质开源项目:https://gitcode.com/ 在数字时代的浪潮中，图像渲染技术正以前所未有的速度进化。其中，神经体积渲染（NeRF）以其惊人的细节重现与新视角合成能力，成为了研究界的明星。然而，传统NeRF面临的一个挑战是，它对大量训练样本的依赖性。正是在这样的背景下，InfoNeRF应运而生，开启了几何与信息论相融合...
[Paper]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis论文Review
“知识最大的敌人不是无知，而是错觉”
11-08 467
最近挺忙的，所以很久没更博了。最近完成一个course hw需要写一写文章review，身边也有很多认识的朋友在做这个方向的工作，感觉还蛮有意义的（不论是NeRF还是paper review），记录一下这个过程。
基于MindSpore的NeRF实现
weixin_44383114的博客
06-30 479
用华为AI框架MindSpore实现NeRF
[论文精读] [NeRF] GeCoNeRF: Few-shot Neural Radiance Fields via Geometric Consistency
^_^
01-31 1186
我们提出了一种新的框架，用几何感知的一致性正则化来正则化少数镜头环境中的神经辐射场(NeRF) [R1]。该方法利用未观察视角处的渲染深度图，将稀疏输入图像扭曲到未观察视角，并将其作为伪ground truth，以便于神经网络的学习。通过在特征级别实现这种几何感知的一致性，而不是使用像素级别的重建损失，我们在语义和结构级别正则化NeRF，同时允许建模视角相关的辐射来解释视点之间的颜色变化。我们还提出了一种有效的方法来过滤错误的翘曲解，以及在优化过程中稳定训练的训练策略。
CVPR2020论文列表（中英对照）
dovings的博客
07-04 1万+
CVPR论文列表，中英对照
CVPR2022论文列表（中英对照）
dovings的博客
07-04 1万+
CVPR论文列表，中英对照
计算机视觉论文-2021-06-30
中科院AI算法工程师的博客
07-02 1612
本专栏是计算机视觉方向论文收集积累，时间：2021年6月30日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 1, TITLE:Cosmic-CoNN: A Cosmic Ray Detection Deep-Learning Framework, Dataset, and Toolkit AUTHORS: Chengyuan Xu ; Curtis McC...
（十：2020.08.28）CVPR 2018 追踪之论文纲要（译）
Jojo论文基地
08-28 7263
CVPR 2018 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这979篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
（十一：2020.08.28）CVPR 2017 追踪之论文纲要（译）
Jojo论文基地
08-28 3302
CVPR 2017 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
CVPR2019|最新更新论文~持续更新|CVPR2019百度云下载
热门推荐
王博（Kings）的博客
04-18 3万+
CVPR论文下载百度云链接：链接：https://pan.baidu.com/s/100OAXTIOTPoMjbi-dwOcxA 提取码：请关注【计算机视觉联盟】微信公众号，回复：CVPR2019 今天更新到2019年6月10号 目录 今天更新到2019年6月10号 目标检测、行人检测、视频超分辨等 FAIR工作、视频跟踪、人脸识别、动作识别 行人检测、图像生成、步态识别 目标...
点云论文阅读-1-pointnet++
weixin_43899239的博客
11-12 367
pointnet局限性：不能获取局部结构信息作者提出pointnet++如何确定球的尺寸，类似于如何确定CNN的卷积核尺寸。利用了多尺度邻域以同时实现鲁棒性和细节获取。
【论文笔记】Wings: Learning Multimodal LLMs without Text-only Forgetting
小嗷犬的博客
11-09 1119
多模态大型语言模型（MLLMs）以训练好的LLM为基础，首先将图像与文本对齐，然后对多模态混合输入进行微调。然而，MLLM在灾难性地忘记了仅包含文本的指令，这些指令不包括图像，可以在初始LLM中解决。在本文中，我们提出了WINGS，这是一种新型的MLLM，在纯文本对话和多模态理解方面都表现出色。分析MLLM在多模态指令中的注意力发现，纯文本遗忘与从预图像文本到后图像文本的注意力转移有关。据此，我们构建了额外的模块，作为增强学习器来补偿注意力转移。
21、论文阅读：MuLA-GAN：用于增强水下可视性的多级注意力GAN
DQHNB的博客
11-13 384
近年来，海洋的巨大潜力，包括丰富的资源和重要的环境意义，受到越来越多的关注。海洋资源的探索和开发已成为研究人员关注的焦点。然而，获取清晰、详细的水下图像面临着诸多挑战，例如模糊、颜色失真、光干扰和复杂水下背景引起的退化，以及极端天气条件带来的影响【1,2】。这些挑战导致了重要细节的丢失，使得特征提取和目标检测等视觉任务变得异常艰难。为应对这些挑战，水下图像增强领域致力于提高水下图像的质量，从而更有效地利用可用的视觉信息【3】。这一增强在目标检测、海洋环境监测、沉船探测和军事行动等实际应用中具有重要意义。
论文笔记 SuDORMRF：EFFICIENT NETWORKS FOR UNIVERSAL AUDIO SOURCE SEPARATION
qq_43349296的博客
11-13 319
相比于常规卷积，可以减少参数和计算量。1×1我们以input feature map shape为12123∈RH×W×C，卷积核shape为553∈Rkh​×kw​×C, stride = 1, padding = 0，卷积核数量为256（输出通道数为256），output feature map shape为[8,8,256]的情况为例。
论文阅读《机器人状态估计中的李群》
YMWM_的博客
11-09 1031
李群是一个古老的数学抽象对象，可以追溯到19世纪，当时数学家 Sophus Lie奠定了连续变换群理论的基础。多年后，它的影响已经蔓延到科学和技术的各个领域。在机器人领域，我们最近正在经历一个重要的趋势，至少在估计领域，特别是在导航的运动估计方面。然而，对于绝大多数机器人专家来说，李群是高度抽象的结构，因此难以理解和使用。在机器人估计技术中，通常不需要充分利用李群理论的能力，因此需要努力选择合适的阅读材料。在本文中，我们将通过李理论的最基本原理，目的是传达清晰和有用的想法，并留下一个重要的李理论语料库。
论文阅读《BEVFormer v2》
YMWM_的博客
11-12 445
我们提出了一种具有透视监督的新型鸟瞰图（BEV）检测器，其收敛速度更快并且更适合现代图像主干。现有的最先进的BEV检测器通常与某些深度预训练主干网络（如VoVNet）相关联，从而阻碍了蓬勃发展的图像主干网络和BEV检测器之间的协同作用。为了解决这一限制，我们优先通过引入透视图监督来简化BEV检测器的优化。为此，我们提出了一个两阶段BEV检测器，其中来自透视头的提议被输入到鸟瞰头中进行最终预测。为了评估我们模型的有效性，我们进行了广泛的消融研究，重点关注监督形式和所提出的检测器的通用性。
【论文阅读】(Security) Assertions by Large Language Models
最新发布
网络空间安全|人工智能|计算机科学
11-13 450
我们使用框架评估LLM在生成硬件安全断言方面的表现。我们的目标是回答两个研究问题：RQ1: LLMs能否生成硬件安全断言？RQ2: LLMs在不同提示下的表现如何？
few-shot learning代码详解
03-16
Few-shot learning是一种机器学习技术，用于在数据集较小的情况下进行分类任务。它可以通过在训练过程中使用少量的样本来学习新的类别，而不是需要大量的数据来训练模型。以下是Few-shot learning的代码详解： 1. ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BlueagleAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值