数百倍加速！港科大最新：嵌入式平台上实时运行的NeRF SLAM！

最新推荐文章于 2024-09-15 00:17:46 发布
最新推荐文章于 2024-09-15 00:17:46 发布
阅读量92 收藏
点赞数
分类专栏： 3D视觉从入门到精通 文章标签： 学习 自动驾驶 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46788581/article/details/138291653
版权
港科大与中山大学的研究提出Photo-SLAM，解决了NeRF SLAM在嵌入式设备上运行的难题，实现了实时运行并提升了数百倍的渲染速度。该方法结合显式几何与隐式光度特征，适用于单目、双目、RGBD三种模式，且在不同设备上展示了优越的定位和建图效果。
摘要由CSDN通过智能技术生成

来源：计算机视觉工坊

添加微信：dddvision，备注：NeRF，拉你入群。文末附行业细分群

0. 笔者个人体会

传统的NeRF和NeRF SLAM所需要的计算量非常大，很难在嵌入式设备上跑起来，这也就很大程度上限制了NeRF SLAM的落地。

但最近港科大&中山大学提出了一项工作Photo-SLAM，不仅实现了高保真的建图，还可以在嵌入式设备上实时运行，甚至渲染速度提高了数百倍。

下面一起来阅读一下这项工作，文末附论文链接~

1. 这篇文章希望解决什么问题？

现有的NeRF SLAM一方面严重依赖隐式表示，计算量非常大，很难部署在嵌入式设备上，一方面需要深度信息来加快NeRF收敛。所以现有的NeRF SLAM大多停留在理论阶段。

Photo-SLAM这项工作就希望在嵌入式设备上同时实现精确定位和在线真实感建图，也是第一个基于超基元地图的NeRF SLAM方案，而且适应单目、双目、RGBD三种模式！这里也推荐工坊推出的新课程《

了解本专栏 订阅专栏 解锁全文 超级会员免费看
计算机视觉工坊
关注
专栏目录
订阅专栏
Go！最新NeRF和SLAM结合开源方案！超越NICE-SLAM和DROID-SLAM！
3D视觉工坊
09-11 835
作者：泡椒味的口香糖 | 来源：3D视觉工坊在公众号「3D视觉工坊」后台，回复「原论文」即可获取论文pdf和代码。添加微信：dddvisiona，备注：SLAM，拉你入群。文末附行业细分群。0. 笔者个人体会NeRF这两年真的是火出天际，ICCV 2023有非常多的NeRF文章，有优化速度精度的，也有动态环境这样的特殊场景NeRF。但NeRF和SLAM结合还是一个很新兴的方向，首先实时性难以保证，...
nerf:NeRF（神经辐射场）的代码发布
03-20
NeRF：神经辐射场 ||| Tensorflow实现，优化单个场景的神经表示并渲染新视图。 * 1 ， * 1 ， * 1 ， 2 ， 3 ， 1 1加州大学伯克利分校， 2 Google研究中心， 3加州大学圣地亚哥分校*表示相等的贡献ECCV 2020（口头...
nerf-slam的复现文档
05-06
本文档将带你深入了解NERF-SLAM的复现过程，这是一种结合了神经辐射场(NeRF)和SLAM技术的三维重建方法。传统的SLAM算法如ORB-SLAM主要依赖于稀疏关键点匹配，而随着深度学习的发展，尤其是NeRF的兴起，稠密建图成为...
NeRF-基于Taichi+Pytorch实现NeRF变种加速部署-附项目源码+流程教程-优质项目实战.zip
06-01
NeRF_基于Taichi+Pytorch实现NeRF变种加速部署_附项目源码+流程教程_优质项目实战
优质项目-基于神经辐射场NeRF实现的实时流数字人-附项目源码+详细流程教程.zip
06-01
该项目是关于利用神经辐射场（Neural Radiance Fields, 简称NeRF）技术来构建实时流数字人的一个优质实践。NeRF是一种先进的三维重建方法，它通过学习场景的连续表示来创建高保真度的3D图像。在本项目中，开发者将...
nerf_pl:使用火炬手闪电在野外的NeRF（神经辐射场）和NeRF
03-19
nerf_pl 更新： （狂野的NeRF）实现已添加到分支！ 更新：最新的代码（使用最新的库）将更新到分支。 master分支仍然支持colab文件。如果不使用colab，建议切换到dev分支。 目前只会考虑dev和nerfw分支的问题。 :...
UEFI学习笔记（五）：EDK II PCD的概念、类型、使用
qq_44189622的博客
09-11 839
如果在BIOS里面有一些模块是binary方式集成进来的而这些binary又需要用到PCD（用于Binary Release），那么这些Binary集成的要用到的PCD就必须要设置为。PCD的值存在memory里面，下次启动时，上次更改的值丢失了，每次启动都是从default值开始。是存在VPD空间的（在FLASH上，只读），一般是出厂配置。如果platform是从源码build出来的，没有binary在里面的时候，PCD用的都是。作用域在一个模块中（模块级的），可以在Binary Level进行修改。
计算几何学习
网安小白
09-12 443
学习计算几何过程中对经典算法的记录
看Threejs好玩示例，学习创新与技术(二)
htsitr2的专栏
09-14 357
它的主要特点是确保生成的点之间保持一定的最小距离，从而避免点的聚集。这种方法在计算机图形学、游戏开发、物理模拟等领域中非常有用，尤其是在需要生成自然分布的对象（如树木、石头等）时。如果不进行裁剪，那么效果如下（初步的锯齿感是因为矩形内采样的结果）。为啥这么复杂呢，为啥不开始存储每个方块的UV呢？下面代码的vTexCoords（=savedModelMatrix，已修改）记录方块所在的位置，vWorldPosition表示方块中像素的偏移。在上面那副图中，聪明的你一定初步猜到了每个方块的纹理是怎么得到的。
如何用3个月零基础入门网络安全？_网络安全零基础怎么学习
2401_84466224的博客
09-11 923
我们知道计算机最早是在西方发明出来的，很多名词或者代码都是英文的，甚至现有的一些教程最初也是英文原版翻译过来的，而且一个漏洞被发现到翻译成中文一般需要一个星期的时间，在这个时间差上漏洞可能都修补了。”答案是否定的，黑客用的电脑,不需要什么高的配置,只要稳定就行.因为黑客所使用的一些程序,低端CPU也可以很好的运行,而且不占什么内存.还有一个,黑客是在DOS命令下对进行的,所以电脑能使用到最佳状态!观看学习近十年所有0day挖掘的帖，然后搭建环境，去复现漏洞，去思考学习笔者的挖洞思维，培养自己的渗透思维。
【学习笔记】SSL密码套件之哈希
Taki_UP的博客
09-12 1152
本篇介绍了TLS/SSL密码套件中常用的哈希算法，包括Poly1305、SHA384、SHA256、SHA、MD5
C语言从头学59——学习头文件math.h（二）
m0_72128260的博客
09-11 467
继续学习头文件的数学函数。
区块链学习笔记2--区块链技术的形成 以太坊
weixin_61074128的博客
09-10 416
以太坊的定义：以太坊是运行在一个计算机网络中的软件，他确保数据以及智能合约的小程序可以在没有宗信协调者的情况下，被所有网络中的计算机复制和处理。以太坊的改进： 交易速度加快；pow+pos算法，逐步向pos算法过渡；智能合约：不受人为因素影响，没有黑幕；比特币的出现让经济贸易变得简单，而比特币系统的不足，也同样被人诟病。于是出现了致力解决比特币不足的“V神”。以太坊的愿景是创建一个无法停止，抗屏蔽（审查）和自我维持的去中心化世界计算机。比特币的不足：交易速度慢；仅仅完成了货币的去中心化。
AdaBoost算法（AdbBoost Algorithm）—有监督学习方法、非概率模型、判别模型、非线性模型、非参数化模型、批量学习
nanxiaotao的博客
09-11 871
AdaBoost算法（AdbBoost Algorithm）—有监督学习方法、非概率模型、判别模型、非线性模型、非参数化模型、批量学习
java开发中间件学习记录（持续更新中~）
m0_74969835的博客
09-14 1290
Java,Springboot,Springcloud,Redis,Mysql,Rabbitmq,Jvm,Juc等等
多线程学习篇二：Thread常见方法
好记性不如烂笔头
09-14 565
Java 中线程状态有6个，分别为:NEW，RUNNABLE，BLOCKED，WAITING，TIMED_WAITING，TERMINATED。t1 是非守护线程， t2 是守护线程，当 t1 执行完 JVM 中不存在非守护线程，即使 t2 未执行完，也会退出 JVM。运行到 t1 的 join 方法时，t1 运行结束，t2 已运行 1s，所以还需要等到 1s 就可以运行完毕。运行结果：通过打印日志的时间戳，我们可以看出来，如果一个线程的打断标记为 true，则 park 失效。
IIC基本学习
????????????????????????????????????????????????
09-11 259
对IIC通信协议补充了基本的了解，在进行相关的工程实践后再进行补充。
ARM驱动学习之1Module
最新发布
JT Blog
09-15 202
ARM驱动学习之1Module mini_linux_module.c: #include <linux/init.h> #include <linux/module.h> MODULE_LICENSE("Dual BSD/GPL"); MODULE_AUTHOR("TOPEET"); stat...
24.9.14学习笔记
m0_64006292的博客
09-14 635
Fast R-CNN通过将分类和边界框回归整合进一个网络中，大大减少了训练时间和推理时间，同时也提高了检测的准确性。它的引入标志着目标检测领域的一大进步，也为后续的研究提供了重要的基础。尽管如此，Fast R-CNN仍然依赖外部的候选区域生成方法，直到Faster R-CNN的出现，才实现了候选区域生成的端到端学习。SSD（Single Shot MultiBox Detector）是一种流行的目标检测算法，它能够在一次前向传递中同时完成物体分类和位置回归，从而实现了实时检测的能力。
nerf-slam开源代码运行
10-31
要运行Nerf-SLAM开源代码，首先需要确保您的计算机满足系统要求。Nerf-SLAM是一个基于Python和PyTorch的三维重建和SLAM算法，因此您需要安装Python和PyTorch。 在安装所需的软件和库后，您可以按照以下步骤来运行Nerf-SLAM开源代码： 1. 下载Nerf-SLAM的代码库，并将其解压到您选择的目录。 2. 打开终端或命令提示符窗口，并导航到代码库的目录。 3. 安装必要的Python库。可以使用pip或conda来安装依赖项，例如numpy、imageio、tqdm等。具体的依赖项可以在代码库的requirements.txt文件中找到。 4. 准备数据。Nerf-SLAM需要输入图像序列来进行重建。您可以将图像序列放在指定的文件夹中，并按照代码库中提供的文件命名约定来命名文件。 5. 打开config文件夹，并选择适合您的应用程序的配置文件。您可以根据自己的需求进行编辑和自定义。 6. 在终端或命令提示符窗口中执行模型训练命令。使用命令"python trainer.py --config=config_file_name"，其中config_file_name是您选择的配置文件的名称。 7. 等待模型训练完成。根据您选择的配置和数据量的不同，训练过程可能需要一些时间。 8. 在训练完成后，您可以利用训练得到的模型来进行三维重建或SLAM。具体的操作方法和命令可以在代码库的文档中找到。 需要注意的是，运行Nerf-SLAM的代码需要一定的计算资源，并且对于大规模的数据集，可能需要更高的计算能力和存储空间。此外，在运行代码之前，建议您仔细阅读代码库中的文档和说明，以确保正确地配置和使用Nerf-SLAM开源代码。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值