点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达
来源：3D视觉工坊
添加小助理：dddvision，备注：方向+学校/公司+昵称，拉你入群。文末附行业细分群
扫描下方二维码，加入3D视觉知识星球，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门视频课程（星球成员免费学习）、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！
0.这篇文章干了啥？
这篇文章介绍了一种名为FlyNeRF的系统，旨在利用无人机（UAV）和基于神经辐射场（NeRF）的模型，对未知环境进行高效的3D重建和改进。文章首先提出了一种利用卷积神经网络评估3D重建渲染质量的方法，该方法能够准确地确定需要额外图像捕获的位置。接着，通过实验验证了FlyNeRF系统的有效性，结果显示该系统能够显著提高重建质量，特别是在重建的低质量区域。最后，文章探讨了FlyNeRF系统在环境监测、城市规划、灾难响应等领域的潜在应用，并提出了未来工作的方向，以进一步改进系统的性能和适用性。总的来说，这篇文章主要是介绍了一种利用无人机和NeRF技术进行3D重建的系统，并通过实验证明了其有效性和潜在应用价值。
下面一起来阅读一下这项工作~
1. 论文信息
论文题目：FlyNeRF: NeRF-Based Aerial Mapping for High-Quality 3D Scene Reconstruction
作者：Maria Dronova, Vladislav Cheremnykh等
作者机构：Intelligent Space Robotics Laboratory, Skolkovo Institute of Science and Technology
论文链接：https://arxiv.org/pdf/2404.12970.pdf
2. 摘要
当前的三维重建和环境映射方法在实现高精度方面经常面临挑战，突显了实用和有效解决方案的需求。针对这一问题，我们的研究介绍了FlyNeRF，这是一个将神经辐射场（NeRF）与基于无人机的数据采集相结合的系统，用于高质量的三维重建。利用无人机捕获图像和相应的空间坐标，所得数据随后用于环境的初始基于NeRF的三维重建。我们系统范围内开发的图像评估神经网络进一步评估了重建渲染质量。根据图像评估模块的结果，自主算法确定了用于额外图像捕获的位置，从而提高了重建质量。用于渲染质量评估的神经网络展示了97%的准确性。此外，我们的自适应方法提高了整体重建质量，在10%分位数上，峰值信噪比（PSNR）平均提高了2.5 dB。FlyNeRF展示了令人期待的结果，在环境监测、监视和数字孪生等领域提供了进展，其中高保真的三维重建至关重要。
3. 效果展示
在使命的第一迭代（a-c）和第二迭代（d-f）之后渲染比较。
在（a）第一次飞行和（B）第二次飞行之后表示为点云的3D重建。
4. 主要贡献
引入了FlyNeRF系统，该系统利用无人机和基于NeRF的模型，实现了未知环境中的高效3D重建和改进。
提出了一种利用卷积神经网络评估3D重建渲染质量的方法，该方法能够准确地确定需要额外图像捕获的位置。
实验结果表明，FlyNeRF系统能够显著提高重建质量，特别是在重建的低质量区域，平均PSNR在10%分位数上提高了2.5 dB。
展示了FlyNeRF系统在环境监测、城市规划、灾难响应等领域的潜在应用，以及在基础设施检查、农业监测等方面提供高效数据收集的能力。
5. 基本原理是啥？
这篇文章介绍了一种名为FlyNeRF的系统，旨在利用无人机（UAV）和神经辐射场（NeRF）技术进行高质量的3D重建和环境检查。该系统通过无人机捕获环境图像和相应的空间坐标，并利用NeRF进行初始的3D重建。然后，利用一个图像评估神经网络来评估重建渲染的质量，并根据评估结果确定额外的图像捕获位置，从而改善重建质量。最终，通过将初始数据和额外数据结合起来生成增强的重建，提高了3D重建的整体质量。FlyNeRF系统的主要原理是利用无人机和NeRF技术进行高质量的环境3D重建，并通过评估和改进渲染质量来提高重建的质量。
数据捕获：使用无人机（UAV）捕获环境图像和相应的空间坐标。这些数据用于后续的3D重建。
初始重建：利用神经辐射场（NeRF）技术对初始数据进行3D重建。NeRF是一种基于神经网络的方法，可以从2D图像生成复杂的3D场景。
渲染质量评估：通过图像评估神经网络对重建的渲染质量进行评估。该神经网络分析渲染的图像特征，并输出一个概率值，表示渲染的质量（0表示低质量，1表示高质量）。
确定额外捕获位置：根据评估结果，确定需要额外捕获图像的位置。这些位置通常是渲染质量较低或需要更多细节的地方。
增强重建：通过捕获额外的图像数据，并将其与初始数据结合，生成增强的重建。这可以提高整体重建的质量和准确性。
路径规划：利用路径规划算法，系统确定无人机在接下来的飞行中应该采集的图像位置，以进一步改进重建质量。
6. 实验结果
数据采集和初始重建：首先，无人机沿着预定义的路径飞行，使用Vicon跟踪系统捕获RGB图像和姿势。这些数据传输到服务器，用于训练NeRF模型并生成初始的环境重建。
渲染质量评估：对NeRF模型生成的渲染进行评估，使用图像评估模块计算出每个渲染达到高质量的概率。根据评估结果，确定需要额外图像捕获的位置。
额外图像捕获和增强重建：无人机根据确定的位置进行额外图像捕获。将这些额外的图像数据与初始数据结合，用于训练增强的NeRF模型，从而改善环境的3D重建。
图像评估模块性能评估：评估图像评估模块的性能，包括准确度和ROC AUC分数。
重建质量评估：计算PSNR和SSIM值，评估重建的质量。比较第一次和第二次3D重建的质量，展示重建质量的改善情况。
7. 总结 & 未来工作
本文介绍了FlyNeRF，这是一个专为利用无人机和基于NeRF的模型进行未知环境中高效建图和改进3D重建的系统。我们的方法利用卷积神经网络评估从3D重建中得出的渲染的质量，提供一个指示图像质量的概率。所提出的网络实现了0.97的准确率和0.99的ROC AUC分数。网络的结果使得通过无人机进行额外图像捕获的位置能够有效确定。第二次重建展示了显著的质量改进，得到了PSNR和SSIM指标的支持。在一系列均匀实验中，涉及两次连续飞行，我们观察到了PSNR在10%分位数上的平均改进为2.5 dB，表明成功增强了重建中的低质量区域。 FlyNeRF系统在各个领域都有潜在的应用。除了在3D建图和重建方面的核心作用外，它提高了重建的低质量区域的能力，使其在环境监测、城市规划和灾难响应等方面也能发挥作用。此外，我们的系统还可以为基础设施检查、农业监测和其他需要详细和准确的3D重建的场景提供高效的数据收集。 未来的工作包括为用于NeRF模型训练的收集图像实现质量过滤器，以便通过更少的图像实现更好的结果。我们的另一个目标是消除对Vicon捕获无人机位置的依赖，从而提高我们系统的灵活性，并使其能够在户外环境中使用。此外，我们计划探索路径规划方面，评估不同的策略来收集额外图像捕获的位置，而不是当前的连续策略。此外，我们计划在仿真环境中验证我们的方法，这可以比在现实实验中更快速、更灵活地进行评估。
本文仅做学术分享，如有侵权，请联系删文。
3D视觉工坊交流群
目前我们已经建立了3D视觉方向多个社群，包括2D计算机视觉、大模型、工业3D视觉、SLAM、自动驾驶、三维重建、无人机等方向，细分群包括：
2D计算机视觉：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等
大模型：NLP、CV、ASR、生成对抗大模型、强化学习大模型、对话大模型等
工业3D视觉：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
SLAM：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
三维重建：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
无人机：四旋翼建模、无人机飞控等
除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群
添加小助理: dddvision，备注：研究方向+学校/公司+昵称（如3D点云+清华+小草莓）, 拉你入群。
3D视觉工坊知识星球
3D视觉从入门到精通知识星球、国内成立最早、6000+成员交流学习。包括：星球视频课程近20门（价值超6000）、项目对接、3D视觉学习路线总结、最新顶会论文&代码、3D视觉行业最新模组、3D视觉优质源码汇总、书籍推荐、编程基础&学习工具、实战项目&作业、求职招聘&面经&面试题等等。欢迎加入3D视觉从入门到精通知识星球，一起学习进步。
3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、无人机仿真、三维视觉C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪，无人机等。
3D视觉相关硬件
| 图片 | 说明 | 名称 |
|---|---|---|
 | 硬件+源码+视频教程 | 精迅V1(科研级)）单目/双目3D结构光扫描仪 |
 | 硬件+源码+视频教程 | 深迅V13D线结构光三维扫描仪 |
 | 硬件+源码+视频教程 | 御风250无人机(基于PX4) |
 | 硬件+源码 | 工坊智能ROS小车 |
 | 配套标定源码 | 高精度标定板(玻璃or大理石) |
| 添加微信:cv3d007或者QYong2014 咨询更多 | ||
点这里👇关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
3D视觉科技前沿进展日日相见 ~
扫一扫
569
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
