DublinCityDataSet数据集勘探

最新推荐文章于 2024-03-18 10:00:00 发布
最新推荐文章于 2024-03-18 10:00:00 发布
阅读量741 收藏 6
点赞数 3
文章标签： 点云 数据集 三维点云 Dublin DataSet
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DLW__/article/details/119970054
版权

文章目录

论文：http://arxiv.org/abs/1909.03613
数据集下载：https://v-sense.scss.tcd.ie/DublinCity/

数据集结构

下载下来后我们得到的是13个.bin文件

T_315500_234500_NE.bin
T_315500_234500_NW.bin
T_315500_234500_SE.bin
T_315500_234500_SW.bin
T_316000_233500_NW.bin
T_316000_233500_SE.bin
T_316000_234000_NE.bin
T_316000_234000_NW.bin
T_316000_234000_SE.bin
T_316000_234000_SW.bin
T_315500_233500_NE_T_315500_234000_SE.bin
T_316000_233500_NE_T_316000_233500_SW.bin
T_316500_234000_SW_T_316500_233500_NW.bin

用 CloudCompare 打开任意一个文件，其点云结构如图所示：
在这里插入图片描述
一个文件包含4个大分类，其下还会有各种细分：
在这里插入图片描述
可以参照作者给出的点云分类拓扑图来看：
在这里插入图片描述

数据集中的坑

这个数据集里有很多坑，为了说明白我需要分几个章节。

1类别的坑

1.1 建筑立面包含房顶/天窗

按照作者论文中的说法，建筑首先分为立面和房顶：
在这里插入图片描述
我们先不看窗户/门之类的，只看立面和房顶。如下图，我红框标注的是房顶所在文件拓扑位置和房顶的大致点云位置（蓝色点云），绿框标注的是立面所在文件拓扑位置和立面的大致点云位置（紫色点云）。可以看出，所谓的"立面"不止包含了立面，而是包含了除了门窗房顶的所有其他内容。
在这里插入图片描述
进一步查看其他房屋相关点云，我们发现部分（也许是大部分）房屋的“立面”甚至包含了屋顶和天窗，如下图，屋顶/天窗类别（蓝色/青色）虽然被切分了，但是仍有一份保留在了“立面”（紫色）类别中。
在这里插入图片描述
这个问题并非个例，从全局俯视图中可以看出，紫色的是立面包含房顶的房屋，蓝色是立面与房顶分离的房屋。
在这里插入图片描述
在这里插入图片描述

1.2 树和灌木不分

按照作者论文中的说法，植物分为树和灌木：
在这里插入图片描述
在数据集中，分类方式百花齐放：

a.正常的
在这里插入图片描述
b.树和灌木分同一类的
在这里插入图片描述
c.不想分类灌木的
在这里插入图片描述
d.树和底下的灌木挨一起的
在这里插入图片描述
e.树的倒影也算树的
在这里插入图片描述

2 数据的坑

我们通过 CloudCompare 将每个.bin文件的所有点云合并后保存成.ply格式，再进行后续处理。
使用python读取.ply文件为ndarray格式：

array([(315971.48901367, 234185.87695312,   9.77700043, 170,   0, 255, 14., -28., 0., 1., 2., 2., 392735.9 , 45., 2., nan),
       (315970.75      , 234185.17285156,   4.39499998, 170,   0, 255, 14., -27., 0., 1., 4., 4., 392735.9 , 11., 4., nan),
       (315971.52404785, 234185.72705078,   9.74199963, 170,   0, 255, 14., -28., 0., 1., 1., 1., 392735.88, 54., 2., nan),
       ...,
       (315945.21496582, 234174.02294922,   4.25099993, 255, 255, 127, 35., -13., 0., 1., 1., 1., 403171.97, 39., 4., nan),
       (315944.9510498 , 234173.76220703,   4.18499994, 255, 255, 127, 35., -13., 0., 1., 1., 1., 403171.94, 79., 4., nan),
       (315934.50097656, 234184.57519531, -86.21900177, 255, 255, 127, 32.,   3., 0., 1., 2., 2., 402608.75, 20., 4., nan)],
      dtype=[('x', '<f8'), ('y', '<f8'), ('z', '<f8'), ('red', 'u1'), ('green', 'u1'), ('blue', 'u1'), ('scalar_PointSourceId', '<f4'), ('scalar_ScanAngleRank', '<f4'), ('scalar_EdgeOfFlightLine', '<f4'), ('scalar_ScanDirectionFlag', '<f4'), ('scalar_NumberOfReturns', '<f4'), ('scalar_ReturnNumber', '<f4'), ('scalar_GpsTime', '<f4'), ('scalar_Intensity', '<f4'), ('scalar_Classification', '<f4'), ('scalar_Original_cloud_index', '<f4')])

XYZ为点云坐标
RGB可一一映射为语义类别

	labels_rgb = np.vstack((data['red'], data['green'], data['blue'])).T
	labels = np.zeros_like(labels_rgb[:, 0]) - 1
	labels[np.all(labels_rgb == [255, 255, 127], 1)] = 0  # 未定义
	labels[np.all(labels_rgb == [0, 170, 0], 1)] = 1  # 树木
	labels[np.all(labels_rgb == [170, 255, 127], 1)] = 2  # 草地
	labels[np.all(labels_rgb == [255, 170, 0], 1)] = 3  # 人行道
	labels[np.all(labels_rgb == [170, 0, 0], 1)] = 4  # 道路
	labels[np.all(labels_rgb == [170, 0, 255], 1)] = 5  # 立面
	labels[np.all(labels_rgb == [0, 85, 255], 1)] = 5  # 房顶
	labels[np.all(labels_rgb == [0, 255, 255], 1)] = 5  # 窗户
	labels[np.all(labels_rgb == [255, 0, 255], 1)] = 5  # 门
	assert labels.max() != 255

Intensity为反射强度
Classification并不是代表语义类别，而是数据来源类别，分为顶视视图和倾斜图像，论文原文如下。并且在数据中，顶视图像获取的点云标记为2，倾斜点云标记为4。
在这里插入图片描述

2.1 数据来源类别错误

读取.ply文件，检查每个区块点云的类别分布：

data_path = ''
files=[os.path.join(data_path, i) for i in os.listdir(data_path) if '.ply' in i]
for f in files:
    data = read_ply(f)
    print(f)
    print(set(data['scalar_Classification']))

T_316000_234000_NW.ply
{2.0, 4.0}
T_315500_233500_NE_T_315500_234000_SE.ply
{2.0, 4.0}
T_315500_234500_SE.ply
{2.0, 4.0}
T_316000_234000_SW.ply
{2.0, 4.0}
T_316000_234000_NE.ply
{2.0, 4.0}
T_316000_233500_SE.ply
{2.0, 4.0}
T_315500_234500_NW.ply
{2.0, 4.0}
T_316000_234000_SE.ply
{2.0, 4.0}
T_316000_233500_NW.ply
{2.0, 4.0}
T_316000_233500_NE_T_316000_233500_SW.ply
{2.0, 4.0}
T_316500_234000_SW_T_316500_233500_NW.ply
{2.0, 4.0}
T_315500_234500_NE.ply
{2.0, 4.0, 1.0306705e-32}
T_315500_234500_SW.ply
{2.0, 4.0}

大部分区块都老老实实按照2(顶视)，4(倾斜)的方式来标记，但是T_315500_234500_NE却有3个点是1.0306705e-32。

移除这3个点：

data = read_ply(files[-2])
new = data[data['scalar_Classification'] > 1]
write_ply(files[-2],
          [new['x'],new['y'],new['z'],new['red'],new['green'],new['blue'],new['scalar_Intensity'],new['scalar_Classification']], 
          ['x', 'y', 'z', 'red', 'green', 'blue','scalar_Intensity','scalar_Classification'])
2.2 反射强度错误

检查每个区块点云的强度分布：

data_path = ''
files=[os.path.join(data_path, i) for i in os.listdir(data_path) if '.ply' in i]
for f in files:
    data = read_ply(f)
    print(f)
    print(data['scalar_Intensity'].min(), data['scalar_Intensity'].max())

T_316000_234000_NW.ply
1.0 65534.0
T_315500_233500_NE_T_315500_234000_SE.ply
0.0 527830800000.0
T_315500_234500_SE.ply
1.0 65534.0
T_316000_234000_SW.ply
0.0 65534.0
T_316000_234000_NE.ply
1.0 65533.0
T_316000_233500_SE.ply
0.0 65534.0
T_315500_234500_NW.ply
0.0 65531.0
T_316000_234000_SE.ply
0.0 65534.0
T_316000_233500_NW.ply
0.0 65534.0
T_316000_233500_NE_T_316000_233500_SW.ply
0.0 65533.0
T_316500_234000_SW_T_316500_233500_NW.ply
1.0 65534.0
T_315500_234500_NE.ply
-2.875652e-18 65534.0
T_315500_234500_SW.ply
1.0 65530.0

该数据集强度分布为0~65534，除了T_315500_233500_NE_T_315500_234000_SE中有3个点反射率特别高（>1e+10）。
移除这3个点：

data = read_ply(files[1])
new = data[data['scalar_Intensity'] < 65536]
write_ply(files[1],
          [new['x'],new['y'],new['z'],new['red'],new['green'],new['blue'],new['scalar_Intensity'],new['scalar_Classification']], 
          ['x', 'y', 'z', 'red', 'green', 'blue','scalar_Intensity','scalar_Classification'])

3 分类的坑

在这里插入图片描述
从上述2个区块的边界可以看出，右区块将车辆、围栏等标记为未分类（蓝色）左区块直接将其划分为地面（橙色）
右区块将路边草坛标记为草地（亮绿色），左区块仍然将其标记为地面（橙色）

在这里插入图片描述
上图中上区块将地面认为是道路（street，橙色），下区块认为该地面是小路（sidewalk，黄色）

这种问题广泛存在于每2个区块之间
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

3D_DLW
关注
CITY/KITTI数据集处理
Counting_Stars的博客
08-10 3308
声明：部分代码参考https://blog.csdn.net/Jesse_Mx/article/details/65634482 本文侧重于通过处理数据集来锻炼python应用能力 下载数据集 博主打算将SSD算法用于检测车载视频，用到的是CITY数据集。 读者可以采用KITTI数据集，内容相似，本文主要针对数据进行前期处理，关于该数据集的说明本文就不进行介绍了。 进入官网，找到obj...
都柏林核心元数据集-dublin core metadata
12-13
defiens fifteen matadata elements for resource description in a cross-dsciplinary information environment.
Dataset 批量录入
changhong_sd的专栏
09-19 510
///         /// 更新DataSet数据至数据库中，注意数据表结构必须与Exel结构相同         ///         /// ds盛放从Excel表中读取的数据         /// 用于查询数据库记录的语句         ///         public static bool UpdataDataSet(DataSet ds, string
【网上开源的数据集】交通 数据集：【数据集-交通标志 红绿灯】红绿灯 交通标志
轮子去哪儿了
11-28 5万+
文章目录交通标志、信号灯相关的数据集1. 国内数据集1. Chinese Traffic Sign Database (好像是长沙理工大学的)2. Tsinghua-Tencent 100K Tutorial（信号标志，没有灯的）3. 一个游戏中的交通标志数据集；4. 滴滴数据集（没有交通标志）5. 百度 ApolloScape 数据集（只有信号灯、没有交通标志；且信号灯的数据集只能在线使用）2....
从零开始制作语义分割数据集
hello_dear_you的博客
10-13 5341
1. 安装labelme labelme是一款十分好用的语义分割数据集制作软件，可用于自定义数据集的标注。labelme是用Python语言编写的，项目地址。具体的安装十分简单，步骤如下： 安装依赖 pip install pyqt5 -i https://pypi.douban.com/simple/ 2. 安装labelme pip install labelme -i https://pypi.douban.com/simple/ 安装完成后，在终端中输...
16个车辆信息检测数据集收集汇总（简介及链接）
qwj的博客
03-22 2万+
16个车辆信息检测数据集收集汇总（简介及链接) 转载自：https://blog.csdn.net/u014546828/article/details/109089621?utm_medium=distribute.pc_relevant.none-task-blog-baidujs_baidulandingword-1&spm=1001.2101.3001.4242 目录 1. UA-DETRAC 2. BDD100K 自动驾驶数据集 3. 综合汽车（CompCars）数据集 4.
无人机探测数据集.zip
06-28
《无人机探测数据集详解》 在信息技术飞速发展的今天，数据集已经成为科研和工程领域的重要资源，特别是对于人工智能和机器学习的研究来说，高质量的数据集更是不可或缺。本文将深入探讨名为"无人机探测数据集"...
岩石分类数据集，大约1000多张
最新发布
03-21
标题中的“岩石分类数据集，大约1000多张”指的是一个专门用于岩石分类的图像数据集，其中包含了大约1000张各种类型的岩石图片。这样的数据集是机器学习，特别是深度学习领域中训练模型的重要资源。数据集的目的是...
高光谱异常探测数据集
05-20
本资源包含了两个常用的数据集，分别是圣地亚哥机场数据集和HYDICE数据集，它们在高光谱异常探测的研究和实践中具有广泛的引用。 首先，我们来详细探讨圣地亚哥机场数据集。这个数据集来源于圣地亚哥国际机场，它是...
岩石分类数据集.zip
05-04
《岩石分类数据集：深度学习在图像识别中的应用》 岩石分类数据集是深度学习领域中一个具有挑战性的任务，特别是在地质学、矿物学以及遥感图像分析等研究中具有重要价值。本数据集名为“岩石分类数据集.zip”，包含...
Portland城市点云数据las格式
12-19
Portland城市点云数据las格式，ARCGIS可以直接打开浏览。。。
Macrostrat 数据集（综合性的地质数据）【500010019】
10-11
Macrostrat 数据集是一个综合性的地质数据集，用于聚集和分布与沉积岩、火成岩和变质岩的空间和时间分布相关的地质数据，旨在提供全球范围内的地质和地球科学信息。地质数据在许多领域中起着关键作用，包括地质研究...
斑马线+行人+交通灯(红绿灯)三类别YoLo数据集
na_a_na_a_an的博客
08-24 3068
本人毕设数据集，适于YoLo模型。包含 12554 张行车记录仪图像，对斑马线、交通灯及行人进行了标注。训练可得mAP@.5有0.956，mAP@.5:.95有0.7299
【深度学习】滴滴出行-交通场景目标检测
你一定能够成为你想要去成为的人。
03-18 1946
本次案例将使用深度学习技术来完成城市交通场景下的目标检测任务，案例所使用的数据集由滴滴出行提供，基于D2-City大规模行车记录视频数据集[1]，经过视频抽帧等预处理步骤得到。数据集共包含12,000张图像，每张图像的大小为1080×1920或720×1280，已划分为训练集(10,000张)、验证集(1,000张)、测试集(1,000张)，其中训练集和验证集提供了检测标签，测试集仅提供图像，用于提交后测试模型效果。
Numpy 中 np.vstack() 和 np.hstack() 简单解析
热门推荐
南淮北安的博客
09-07 9万+
文章目录一、np.vstack()二、np.hstack() 一、np.vstack() 按垂直方向（行顺序）堆叠数组构成一个新的数组 堆叠的数组需要具有相同的维度 二、np.hstack() 按水平方向（列顺序）堆叠数组构成一个新的数组 堆叠的数组需要具有相同的维度 ...
行车记录仪数据集_行人检测数据集(极市平台的补充版)
weixin_39790168的博客
12-24 1466
“极市平台” 已经提供了一些数据集到百度网盘:极市平台：行人检测数据集汇总(持续更新)​zhuanlan.zhihu.com下面这些数据集是“极市平台”尚未收录的：具体描述如下：获取方式：账号注册需审核，注册通过即可下载，共103GB左右。1.ECP_day_img_train.zip 50.2GBECP training images (day) from 31 European cities...
深度学习数据集 自动驾驶数据集 持续更新中……
轮子去哪儿了
04-24 3488
目标检测数据集 数据集的数据集 有检测 跟踪 人脸 3D 自动驾驶…… https://www.visualdata.io/ Pascal VOC（Pascal Visual Object Classes）- 图像理解benchmark数据集 http://host.robots.ox.ac.uk/pascal/VOC/ MS COCO（Common Objects in COntext）-...
CityScapes数据集简介与数据处理和精度指标
Nick Blog
12-15 1万+
1. 数据集简介 Cityscapes数据集，即城市景观数据集，其中包含从50个不同城市的街景中记录的各种立体视频序列，除了更大的20000个弱注释帧之外，还有高质量的5000帧像素级注释。Cityscapes数据集共有fine和coarse两套评测标准，前者提供5000张精细标注的图像，后者提供5000张精细标注外加20000张粗糙标注的图像。train、val、test总共5000张精细释，2975张训练图，500张验证图和1525张测试图，每张图片大小都是1024x2048，官网下载是不包含测试集的标
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值