ICCV2023 首个城市级别的基于航空点云的房屋建模数据集 Building3D

来源：我爱计算机视觉

图1：Building3D数据集中最大的城市Talinn以及建筑物和房屋点云，mesh和线框模型。

总览

为了促进测绘领域实景三维重建的发展，我们提出了Building3D(Building3D: An Urban-Scale Dataset and Benchmarks for Learning Roof Structures from Point Clouds)，一个高质量的基于航空点云的房屋建模数据集。本数据集有三个主要优势：

1. 真实世界：区别于现有的人工构造的三维建筑物数据集，它由真实世界的爱沙尼亚共和国的建筑物构成。

2. 类别丰富：覆盖了100多种房屋类型的约16万个三维点云建筑物数据。

3. 标注丰富：包括了建筑物和房屋屋顶的表面点云，mesh和线框模型。

Building3D是目前学界最大的真实世界三维模型数据集，为未来的实景三维白模建模研究提供了广阔空间。利用该数据集，我们探讨了房屋表面重建，点云补全，去噪去野值，三维模型生成等多种学术任务的鲁棒性和泛化性，提出了很多有价值的发现，并验证了其从去躁去野值、三维重建到三维模型生成的开发应用前景。我们希望building3D以及对应的算法基准测试能够为学术研究和工业应用带来新的挑战和机会。

• Project page: http://building3d.ucalgary.ca/

• Paper: https://arxiv.org/abs/2307.11914

• Dataset Download:

1. 入门级水平数据集现已开放。

2. Tallinn 城市数据将在8.15号之前发布

3. 测试服务器也将在8.15号前可用

背景介绍

面向真实世界的三维重建与模型生成是测绘领域与智慧城市构建一直倍受关注的问题，也在近年来取得了一定的进展。然而，由于学术界和工业界缺乏大规模的实采 3D 建筑物数据库，大部分技术方法仍依赖于仿真和质量有限的ROOFN3D[1]数据集。因此，社区迫切需要一个大规模且高质量的真实世界 3D 建筑物数据集，这将有助于推进许多3D重建任务和下游应用。

数据集特点

Building3D为每一个建筑物提供了三种模态信息，包括：建筑物和屋顶点云、建筑物和屋顶mesh模型和建筑物和屋顶的线框模型。它具有100多种房屋模型，下图二展示了一些经典房屋类型以及它们对应的点云，线框（俯视图以及侧视图）以及屋顶和线框mesh模型。

图2：Building3D数据集中典型的10种房屋类型对应的点云、俯视图和侧视图的线框图以及房屋和线框图对应的mesh模型。

同时由于是真实世界中的数据集，可能也存在点云稀疏以及建筑物棱角点消失以及建筑物棱角点数量过多的情况。

下游应用

Building3D为学界带来了广泛的探索空间，在本文中，我们选取了三维建筑物重建任务见图3进行评估与分析。我们提出一个统一的有监督和自监督的端到端房屋建模框架，将三维重建任务分成两部分：1）建筑物棱角点检测识别；2）建筑物有效边连接工作。

图3：三维建筑物重建结果

未来工作

关于数据集本身，我们会致力于不断扩大和更新数据集以满足更广泛的研究需求。除了现有的应用，我们还计划进一步发展其他下游任务，如稀疏点云补全，语义分割和如何在棱角点消失的情况下生成棱角点，提高棱角点检测准确度等问题。

参考文献

[1] Wichmann, Andreas, et al. "RoofN3D: A database for 3D building reconstruction with deep learning." Photogrammetric Engineering & Remote Sensing 85.6 (2019): 435-443.

—END—

高效学习3D视觉三部曲

第一步 加入行业交流群，保持技术的先进性

目前工坊已经建立了3D视觉方向多个社群，包括SLAM、工业3D视觉、自动驾驶方向，细分群包括：[工业方向]三维点云、结构光、机械臂、缺陷检测、三维测量、TOF、相机标定、综合群；[SLAM方向]多传感器融合、ORB-SLAM、激光SLAM、机器人导航、RTK|GPS|UWB等传感器交流群、SLAM综合讨论群；[自动驾驶方向]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器讨论群、多传感器标定、自动驾驶综合群等。[三维重建方向]NeRF、colmap、OpenMVS等。除了这些，还有求职、硬件选型、视觉产品落地等交流群。大家可以添加小助理微信: dddvisiona，备注：加群+方向+学校|公司, 小助理会拉你入群。

添加小助理微信：cv3d007, 拉你入群

第二步 加入知识星球，问题及时得到解答

针对3D视觉领域的视频课程（三维重建、三维点云、结构光、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、源码分享、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答等进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业、项目对接为一体的铁杆粉丝聚集区，6000+星球成员为创造更好的AI世界共同进步，知识星球入口：「3D视觉从入门到精通」

学习3D视觉核心技术，扫描查看，3天内无条件退款

高质量教程资料、答疑解惑、助你高效解决问题

第三步 系统学习3D视觉，对模块知识体系，深刻理解并运行

如果大家对3D视觉某一个细分方向想系统学习[从理论、代码到实战],推荐3D视觉精品课程学习网址：www.3dcver.com

基础课程：

[1]面向三维视觉算法的C++重要模块精讲：从零基础入门到进阶

[2]如何学习相机模型与标定？（代码+实战）

[3]ROS2从入门到精通：理论与实战

[4]彻底理解dToF雷达系统设计[理论+代码+实战]

工业3D视觉方向课程：

[1]（第二期）从零搭建一套结构光3D重建系统[理论+源码+实践]

[2]机械臂抓取从入门到实战课程（理论+源码）

[3]三维点云处理：算法与实战汇总

[4]彻底搞懂基于Open3D的点云处理教程！

[5]3D视觉缺陷检测教程：理论与实战！

SLAM方向课程:

[1]深度剖析面向机器人领域的3D激光SLAM技术原理、代码与实战

[1]彻底剖析激光-视觉-IMU-GPS融合SLAM算法：理论推导、代码讲解和实战

[2]（第二期）彻底搞懂基于LOAM框架的3D激光SLAM：源码剖析到算法优化

[3]彻底搞懂视觉-惯性SLAM：VINS-Fusion原理精讲与源码剖析

[4]彻底剖析室内、室外激光SLAM关键算法和实战(cartographer+LOAM+LIO-SAM)

[5]（第二期）ORB-SLAM3理论讲解与代码精析

视觉三维重建

[1]彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进)

自动驾驶方向课程：

[1] 深度剖析面向自动驾驶领域的车载传感器空间同步（标定）

[2]面向自动驾驶领域目标检测中的视觉Transformer

[3]单目深度估计方法：算法梳理与代码实现

[4]面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)

[5]如何将深度学习模型部署到实际工程中？（分类+检测+分割）