RoadBEV：鸟瞰图中的道路表面重建

已于 2025-02-13 16:32:45 修改
阅读量1.8k 收藏 14
点赞数 19
分类专栏： # 深度学习论文阅读 文章标签： 自动驾驶 深度学习
于 2024-04-22 09:14:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xhtchina/article/details/137711984
版权

1. 代码地址

GitHub - ztsrxh/RoadBEV: Codes for RoadBEV: road surface reconstruction in Bird's Eye View

2. 摘要

本文介绍了RoadBEV：鸟瞰图中的道路表面重建。道路表面条件（特别是几何形状）极大地影响了自动驾驶汽车的驾驶性能。基于视觉的在线道路重建有望提前获取道路信息。现有的解决方案（例如单目深度估计和双目匹配）性能较差。最新的鸟瞰图（BEV）感知为更可靠、更精确的重建提供了巨大的潜力。本文统一地提出了两种简单而有效的BEV道路高程重建模型，称为RoadBEV-mono和RoadBEV-stereo，其分别使用单目和双目图像来估计道路高程。前者基于从图像中查询的体素特征直接拟合高程值，而后者基于表示左右体素特征之间差异的BEV体积来有效识别道路高程模式。精辟的分析证明了它们与透视图的一致性和差异性。在现实世界数据集上的实验验证了模型的有效性和卓越性。RoadBEV-mono和RoadBEV-stereo的高程误差分别达到1.83cm和0.56cm。在基于单目图像的BEV中，估计性能提高了50%。本文所提出的模型具有良好的实际应用前景，为自动驾驶中基于视觉的BEV感知提供了有价值的参考。

3. 主要贡献

图 1. 本文动机。 (a) 我们在 BEV 中的重建方法在单目和立体配置的图像视图中都优于这些重建方法。(b) 对于深度图像视图中的估计，搜索方向偏离道路高程方向。深度视图中道路轮廓特征稀疏。坑洞不是 (c) 在 BEV 中，轮廓振动被精确捕获，例如坑洼、路边台阶甚至车辙。道路垂直高程特征方向更密集，更容易识别。

本文的贡献总结如下：

  • 本文首次通过分析和实验证明了在BEV中实现道路表面重建的必要性和优越性；
  • 对于基于单目和双目的方案，本文相应地提出了两个模型，称为RoadBEV-mono和RoadBEV-stereo，并且详细地解释了它们的机制；
  • 本文全面测试和分析了所提出模型的性能，为未来研究提供了有价值的见解和前景。

4. 数据集与预处理

5. 方法

5.1. 特征体素与高度回归

5.2. RoadBEV-mono

5.3. RoadBEV-stereo

5.4. 损失函数

6. 实验

6.1. 实验细节

6.2. 性能与对比

6.3. 路面重建可视化

 

6.4. RoadBEV-mono消融实验

6.5. RoadBEV-stereo消融实验

7. 总结

本文首次在鸟瞰图中重建道路表面高程，分别提出并且分析了基于单目和双目图像的RoadBEV-mono和RoadBEV-stereo。本文揭示了BEV中单目估计和双目匹配与透视图中的机制相同，但是可以通过缩小搜索范围和直接在高程方向上挖掘特征来改进。在现实世界数据集上进行的全面实验验证了所提出的BEV体积、估计头和参数设置的可行性和优越性。对于单目相机，BEV的重建性能比透视图的重建性能提高了50%。同时，在BEV中，使用双目相机的性能是使用单目相机的三倍。本文提供了有关模型的深入分析，其开创性的探索也为BEV感知、3D重建和3D检测的进一步研究和应用提供了有价值的参考。

参考文献

RoadBEV: Road Surface Reconstruction in Bird’s Eye View

https://zhuanlan.zhihu.com/p/692651589

【点云鸟瞰图BEV】点云鸟瞰图BEV原理与可视化
叶子的博客
05-24 1万+
本节将介绍激光雷达等点云的鸟瞰图生成原理、代码及效果图。 1 BEV视图原理 点云BEV（Bird's Eye View）视图是指点云在垂直于高度方向的平面上的投影。通常，在获得bev视图前，会将空间分割成体素，利用体素对点云进行下采样，然后将每个体素作为一个点进行投影。体素是指将三维空间按照固定尺寸长方体进行划分时的长方体（Δl*Δw*Δh）。 体素投影时可以得到BEV视图的像素点坐标。每个像素点的特征取值则可以通过多种方式得到。 ...
RoadBEV：鸟瞰视图下的路面重建
一点人工一点智能的博客
04-22 1970
近年来，无人地面车辆(UGV)的快速发展对车载感知系统提出了更高的要求。对驾驶环境和条件的实时理解对于准确的运动规划和控制至关重要[1,2,3]。对车辆而言，道路是与物理世界唯一接触的介质。路面条件决定了许多车辆特性和驾驶性能[4]。路面不平坦，如凸起和坑洞（如图1（a）所示），会严重影响乘用车的乘坐体验。实时的路面条件感知，特别是几何高度感知，极大地有助于提高乘坐舒适度[5,6]。图1 我们的动机。(a)我们BEV中的重建方法在单目和立体配置下优于图像视角的方法。
RoadBEV
whaosoft143ai的博客
04-12 594
本文统一提出了两种简单而有效的BEV道路高程重建(road elevation reconstruction)模型，分别命名为RoadBEV-mono和RoadBEV-stereo，它们分别利用单目和立体图像估计道路高程。最近在三维目标检测和分割任务上取得的 SOTA 性能是通过基于鸟瞰图的方法实现的[15]，这与透视视图不同，后者通过在视图转换的图像特征上引入估计头部来进行。如图1（a）所示，道路的不平整性，如颠簸和坑洼，会加剧乘用车的乘坐体验，这是直观可感知的。在深度视图中，道路轮廓特征是稀疏的。
RoadBEV: 道路表面重建在鸟瞰视图下的代码库指南
gitblog_00952的博客
08-16 640
RoadBEV: 道路表面重建在鸟瞰视图下的代码库指南 RoadBEVCodes for RoadBEV: road surface reconstruction in Bird's Eye View项目地址:https://gitcode.com/gh_mirrors/ro/RoadBEV 目录结构及介绍 当你克隆了RoadBEV的仓库之后，你会看到以下的核心目录结构： ├── test ...
推荐项目：RoadBEV——开启自动驾驶新视界
gitblog_00063的博客
06-22 497
推荐项目：RoadBEV——开启自动驾驶新视界 项目地址:https://gitcode.com/gh_mirrors/ro/RoadBEV 项目介绍 在自动驾驶领域，路面感知的精度直接影响到车辆的安全与舒适性控制。为此，研究者们提出了一项创新工作：RoadBEV（Bird's Eye View下的道路表面重建）。本项目提供了两个重要实现：RoadBEV-mono和RoadBEV-stereo，分...
RoadBEV 项目使用教程
gitblog_00405的博客
08-16 574
RoadBEV 项目使用教程 RoadBEVCodes for RoadBEV: road surface reconstruction in Bird's Eye View项目地址:https://gitcode.com/gh_mirrors/ro/RoadBEV 项目介绍 RoadBEV 是一个专注于自动驾驶领域的开源项目，旨在通过鸟瞰图（Bird's Eye View）技术实现道路表面的高...
清华最新！RoadBEV：BEV下的道路表面重建如何实现？
CV_Autobot的博客
04-15 637
点击下方卡片，关注“自动驾驶之心”公众号戳我->领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『BEV感知』技术交流群编辑 | 自动驾驶之心原标题：RoadBEV: Road Surface Reconstruction in Bird’s Eye View论文链接：https://arxiv.org/pdf/2404.06605.pdf代码链接：https://g...
餐饮：65页行业深度：鸟瞰餐饮零售化产业全景，把握万亿市场变革机遇.pdf
07-15
餐饮行业在近年来经历了快速的发展和变革，尤其随着零售化的趋势不断加强，餐饮业已经不再局限...在这一进程中，应特别关注具有品牌力、洞察力、营销力和供应链优势的公司，它们将有望在未来市场的竞争中占据有利地位。
鱼眼图像校正并将校正后的图像转换成鸟瞰图
04-26
为了解决这个问题，我们需要对鱼眼图像进行校正，将其转换成更接近人眼观察的图像形式，也就是鸟瞰图（或称俯视图）。在这个过程中，我们将使用纯C语言实现，不依赖其他库。 鱼眼图像校正的核心在于找到一个合适的...
相机标定和鸟瞰图生成_vs2017.rar
10-13
鸟瞰图生成，又称为全局俯视图或顶视图，是从三维场景中创建一个从上方观察的二维投影。这种技术在许多应用中都很有用，例如自动驾驶、无人机导航和监控系统。在本项目中，鸟瞰图生成可能涉及对图像进行透视变换，这...
范围：:telescope:范围-创建Github项目的鸟瞰图并嵌入到您的网站中
02-05
范围是您的Github项目的可定制鸟瞰图。 它会自动提取问题和提取请求，并将它们分类为您定义的列。 想想关于类固醇的github项目。 使用事件驱动的无服务器技术构建，可以在几分钟内为您的项目克隆，配置和部署该...
人工智能的自动驾驶新纪元：端到端智能系统挑战与前沿探索方案
DataLaneYoker
05-08 1695
端到端技术的落地是一个复杂的系统工程，不仅仅是算法的竞赛，还涉及数据闭环、算力基建、法规适配等多个层面。企业需要构建 “数据采集 - 模型训练 - 硬件部署 - 用户反馈” 的正向研发体系，通过海量数据不断优化模型，提升系统性能；同时，加大算力基础设施投入，确保模型训练与推理的高效运行 。
51c自动驾驶~合集40
whaosoft~aiotの开发板商城
05-09 847
我自己的原文哦~ https://blog.51cto.com/whaosoft/12800946中科院最新综述大家好，很荣幸能受到的邀请来为大家分享我们的一篇关于单目车道线检测的综述。与papaer里展现的顺序和内容可能有所不同，在这里笔者想更多地讲一讲本文的成文过程以及各类方法的发展史，因此对于各方法的详细介绍读者可以参考本文原文，这里不会花费过多笔墨来重述。关于本文原文中提到的方法，以及更多未提到的方法的论文和代码均可在笔者构建的GitHub仓库里找到，笔者后续也会不断更新，欢迎大家关注，也欢
VLM-AD：通过视觉语言模型监督实现端到端自动驾驶
qq_54556560的博客
05-07 902
现有的端到端（E2E）自动驾驶（AD）模型通常经过优化，以模拟数据中观察到的驾驶模式，而不捕获底层推理过程。为了缩小这一差距，我们提出了VLM-AD，这是一种利用视觉语言模型（VLM）作为教师的方法，通过提供包含非结构化推理信息和结构化动作标签的额外监督来加强培训。而直接集成大语言模型（LLM）或视觉语言模型（VLM）的方法则需要大量微调，且推理时依赖大模型，计算开销大。现有的端到端（E2E）自动驾驶模型通过模仿数据中的驾驶模式进行优化，但缺乏人类驾驶员在复杂场景中的。”）生成非结构化文本。
基于PPO的自动驾驶小车绕圈任务
weixin_44558122的博客
05-05 1063
合理的，并且不会影响计算的准确性，原因如下：
自动驾驶的“眼睛”：用Python构建智能障碍物检测系统
Echo_Wish
05-09 244
随着自动驾驶技术的快速发展，障碍物检测系统成为确保行车安全的关键。本文介绍了如何利用Python构建智能障碍物检测系统，涵盖计算机视觉、激光雷达（LiDAR）和多传感器融合等技术。通过YOLO深度学习模型和OpenCV，系统能够实时检测摄像头视频流中的障碍物，如行人、车辆等。同时，LiDAR传感器提供了精准的三维深度信息，尤其在夜间或恶劣天气下表现优异。多传感器融合技术进一步提升了检测的准确性和可靠性，结合摄像头、LiDAR和雷达数据，确保系统在不同环境下的稳定性。未来，随着激光雷达成本的降低和Transf
使用零样本LLM在现实世界环境中推广端到端自动驾驶——论文阅读
最新发布
qq_54556560的博客
05-09 590
2024年12月，纽约Stony Brook大学、UIC和桑瑞思公司联合发表了一篇关于自动驾驶的论文，提出了一种新型架构，将多模态大型语言模型（LLM）集成到端到端自动驾驶模型中，以增强其在现实环境中的泛化能力。传统自动驾驶方法采用模块化设计，存在误差累积问题，而端到端方法直接从传感器数据输出动作，但需要大量训练数据。本文提出的架构通过LLM定期生成高级驾驶指令，指导端到端模型，降低了对数据的需求，且无需微调LLM。实验表明，该架构在复杂测试环境中显著提升了模型的泛化能力，最佳组合的成功率从40%提升至83
中国自动驾驶研发解决方案，第一！
lihui49的博客
05-08 434
在这样的趋势下，百度智能云快速完成迭代，将汽车云解决方案已经升级到了3.0版，为车企提供了强大的算力支撑、精准的算法适配、高质量仿真场景及车路协同等核心技术，针对端到端智能驾驶进行了重点的适配，有力推动了自动驾驶的量产落地。智能驾驶进入AI时代，智算基础设施与算法、数据三者协同发展，端到端智驾正成为业内共识，车企和供应商不断加码算力集群采购、新算法架构搭建、仿真测试等资本支出，头部客户算力花销和算力规模正朝着亿级、10EFlops级别演进。百度沈抖：智能基础设施，为应用而生。
基于DDPG的自动驾驶小车绕圈任务
weixin_44558122的博客
05-04 1016
任务来源: DQN: Deep Q Learning ｜自动驾驶入门（？） ｜算法与实现 任务原始代码: self-driving car 在上一篇使用了DQN算法完成自动驾驶小车绕圈任务之后，学习了DDPG算法，并将DDPG算法用在该任务上。 最终效果：这个gif是没有加速过的，DQN的是两倍速的效果 整体来说，无论是连续性还是转弯的流畅性来说，以及小车能够跑的距离，DDPG的效果要远远优于DQN，但是要比DQN难调试的多。 主
NeRF 道路 裂缝
03-16
<think>好的，我现在需要帮助用户了解或实现与NeRF相关的道路裂缝检测或三维重建。首先，我得理解用户的具体需求。用户提到了NeRF（神经辐射场）在道路裂缝检测和三维重建中的应用，可能希望知道如何将NeRF技术应用于这个特定领域。 首先，我应该回忆NeRF的基本原理。NeRF通过使用神经网络表示场景，从多视角的2D图像中重建3D结构，并生成高质量的视图。这在三维重建方面有很好的效果，比如引用[3]提到的NeRF-SR在纹理细节上的优化。这可能与道路裂缝检测相关，因为裂缝通常需要高精度的纹理信息。 接下来，用户的需求可能涉及如何利用NeRF进行道路表面的三维重建，从而检测裂缝。传统的裂缝检测可能基于2D图像，但三维信息能提供更多几何细节，有助于更准确的检测。例如，引用[2]提到的RoadBEV项目使用鸟瞰视图进行路面重建，可能结合了类似NeRF的技术。需要确认RoadBEV是否确实应用了NeRF，或者有其他方法，但用户提供的引用中提到了鸟瞰视图重建，这可能与三维重建相关。 然后，用户可能需要具体的步骤来实现这一应用。首先，数据收集是关键。需要多角度的道路图像，可能来自车载摄像头或无人机。接着是训练NeRF模型，生成道路的三维表示。之后，如何在三维模型上检测裂缝？可能需要结合传统的图像处理或深度学习模型来分析生成的3D纹理，识别裂缝区域。 此外，引用[4]提到边缘-云端协同计算和实时仿真系统，这可能涉及到处理大量数据的需求。NeRF的计算量较大，可能需要优化或使用边缘计算单元来提高处理速度，如引用[4]中的“天枢”边缘计算单元。 还需要考虑现有数据的可用性。引用[1]指出3D结构异常检测数据缺乏，这可能是一个挑战。用户可能需要自行收集数据或使用合成数据。或者，结合已有2D裂缝数据集，通过NeRF生成3D信息。 可能的难点包括如何确保NeRF在道路场景下的精度，尤其是在裂缝这种细小结构上的重建效果。引用[3]提到NeRF-SR在叶片和裂缝上的清晰纹理，说明NeRF在处理细节上的潜力，但可能需要细化网络进一步优化。 最后，用户可能需要相关工具和框架的建议，如PyTorch或TensorFlow的实现，以及如何集成裂缝检测模型到NeRF流程中。此外，性能优化和实时处理也是需要考虑的方面，结合边缘计算可能是一个方向，如引用[4]提到的边缘计算单元。 总结一下，回答需要涵盖NeRF的基本原理、在道路裂缝检测中的应用步骤、数据需求、技术挑战、现有研究（如RoadBEV和NeRF-SR）、以及可能的解决方案和工具建议。同时，生成的相关问题需要引导用户进一步探索性能优化、数据合成和实际部署等方面。</think>### NeRF在道路裂缝检测与三维重建中的应用 #### 1. NeRF技术基础 神经辐射场（NeRF）通过多层感知机（MLP）将3D场景表示为连续的辐射场函数，能够从多视角2D图像中重建高保真3D模型。其核心公式为： $$ F_\Theta: (x,y,z,\theta,\phi) \rightarrow (c, \sigma) $$ 其中$(x,y,z)$为空间坐标，$(\theta,\phi)$为视角方向，输出颜色$c$和密度$\sigma$[^3]。 #### 2. 道路场景应用流程 **步骤1：数据采集** - 使用车载多目相机或无人机获取道路多视角图像（建议视角间距<15°） - 同步记录相机位姿参数（可通过SLAM或RTK定位实现） **步骤2：NeRF模型训练** ```python # 基于PyTorch的简化实现框架 class NeRF(nn.Module): def __init__(self): super().__init__() self.position_embed = PositionalEmbedding(L=10) # 位置编码 self.dir_embed = PositionalEmbedding(L=4) # 方向编码 self.mlp = nn.Sequential( nn.Linear(60,256), nn.ReLU(), nn.Linear(256,256), nn.ReLU(), # ... 更多隐藏层 nn.Linear(256,4) # 输出RGBα ) ``` **步骤3：裂缝特征提取** 在NeRF生成的3D辐射场基础上，可采用： - 密度梯度分析：$\nabla \sigma = (\frac{\partial \sigma}{\partial x}, \frac{\partial \sigma}{\partial y}, \frac{\partial \sigma}{\partial z})$ 识别表面突变 - 多尺度纹理分割：结合U-Net在渲染视图中检测裂缝模式 #### 3. 关键技术挑战与解决方案 | 挑战 | 解决方案 | 相关技术 | |------|----------|----------| | 细小裂缝重建 | 超分辨率NeRF | 级联细化网络 | | 实时处理需求 | 边缘计算部署[^4] | 模型轻量化(MobileNeRF) | | 数据标注困难 | 自监督学习 | 几何一致性约束 | #### 4. 典型应用案例 RoadBEV项目[^2]展示了鸟瞰视角下的路面重建，其技术路线可扩展集成NeRF： 1. 通过车载相机阵列获取路面图像 2. 使用NeRF构建厘米级精度的3D路面模型 3. 在BEV空间进行裂缝语义分割 #### 5. 实现建议 1. **数据准备**：使用CARLA等仿真平台生成带裂缝标注的合成数据[^1] 2. **模型选择**： - 基础框架：nerf-pytorch - 改进方案：Instant-NGP加速训练 3. **部署优化**：结合边缘计算单元实现实时处理[^4]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值