点云PCL免费知识星球，点云论文速读。
文章：PARKING SPACE DETECTION
作者：F. Abad, R. Bendahan, S. Wybo, S. Bougnoux, C. Vestri, and T. Kakinami
编辑：点云PCL
欢迎各位加入知识星球，获取PDF论文，欢迎转发朋友圈。文章仅做学术分享，如有侵权联系删文。未经博主同意请勿擅自转载。
公众号致力于点云处理，SLAM，三维视觉，高精地图等领域相关内容的干货分享，欢迎各位加入，有兴趣的可联系dianyunpcl@163.com。未经作者允许请勿转载，欢迎各位同学积极分享和交流。
摘要
本文介绍了一种新的系统，用于检测两辆车之间可用的停车的空间，为了检测停车位，该系统结合了超声波传感器和三维视觉传感器获取的信息，停放车辆的轮廓由一对垂直平面（一个纵向平面和一个横向平面）建模。空白的停车位位于轮廓之间。使用超声波数据计算纵向平面，使用三维视觉数据获取横向平面。实验验证了该方法，并显示定位精度低于10厘米，长度精度低于20厘米。
介绍
我们研究的主要目标是提供一个周围监控系统，以支持汽车驾驶员避免碰撞。为了实现这个目标，选择了3D计算机视觉技术，因为它们可以：
*检测和定位障碍物，
为驾驶员提供易于理解的周围场景的3D表示。
我们已经在(1)和(2)中介绍了两种不同的算法，用于此目的。它们已经被证明可以从车辆上的单个相机中检测静态和移动障碍物。
除了实现周围监控之外，我们还想确定如何扩展系统的功能。我们想表明3D视觉和超声波感测技术可以相互补充，用于检测和定位停车位。实际上，在近年来，自动停车的功能已成为一个主要应用。丰田目前提供了一种智能泊车辅助系统，使用两个侧面超声波传感器来检测停车位并自动执行停车操作(3)。其他停车系统使用白线检测技术来检测停车位(4)-(8)。
本文介绍了一种不同的自动停车位检测方法。它基于超声波数据和3D视觉数据的组合，以对场景中的停放车辆进行建模，并检测、定位和测量停车位。
主要内容
使用场景和目标
系统的目标显示在图1中，使用条件显示在表1中。要检测的停车位被定义为位于路边停放的两辆车之间的空位。我们的车辆沿着停放的两辆车向前行驶。遇到的第一辆车称为车辆A，遇到的第二辆车称为车辆B。必须处理两种停车配置：平行停车（车辆与路平行停放）和倒车入库停车（车辆垂直于路停放）。当我们的车辆在车辆B之后停车时，系统必须检测到停车位。系统必须能够准确地定位停车位并测量其长度：车辆A和车辆B的角必须以±10cm的精度定位；停车位的长度必须以±20cm的精度给出。这样的精度足以计算停车轨迹并轻松地停放在狭窄的空间中。
系统的设置如图2所示。我们的车辆配备有一个车载PC、后视摄像头、ABS传感器和一个安装在前保险杠左侧的超声波传感器。
静态障碍物检测
为了解决障碍物检测、车辆与障碍物的距离测量和碰撞警告功能，我们在(1)中提出了一种技术，可以重建周围环境的3D模型，该技术使用沿着车辆行驶轨迹不同视点拍摄的图像作为输入。这种方法核心技术有相机校准、里程计、点跟踪、3D建模和3D滤波。它使用三角测量原理将3D点重建到障碍物上。假定障碍物在场景中是静止的，这些点必须在至少2个不同的图像中跟踪，然后从3D点中过滤出最佳的点，最后，障碍物从3D点建模，提供上述功能。
这种3D视觉传感方法依赖于要跟踪的点的存在，不幸的是，由于车辆侧面的均匀外观，有时这些区域只有少量的3D点可用，相反，车辆的前部和后部通常有更多的3D点可用，因为那里可以找到许多视觉特征（前灯、车牌、保险杠等）。因此，障碍物的3D形状有时不够具有代表性（例如，车的侧面可能由位于车辆两个轮子周围的2个分离的部分表示），这使得空置于两个停放的车辆之间的位置难以稳健地检测。
停车位检测
为了解决停车位检测和定位功能，我们选择通过车辆A和B的轮廓来建模两侧停放的车辆。轮廓是车辆形状的近似值，由其纵向和横向平面构成，纵向平面近似于与道路方向平行的停放车辆的一侧；横向平面近似于与道路方向垂直的停放车辆的一侧（见图1）。然后，所需的停车位是车辆A和B的轮廓之间的空间。
为了计算停放车辆的轮廓，选择结合来自超声波传感器和来自我们的三维视觉传感器的信息（更准确地说是我们静态障碍物检测器的三维点重建模块）的信息。为了提供停放车辆的纵向平面，我们使用超声波传感器。当我们的车辆移动时，超声波传感器提供与停放车辆的距离。车辆自我运动（里程计）的知识和这个距离可以确定停放车辆的纵向平面。这些平面的位置和方向被准确地估计，事实上，超声波信息只有在反射表面垂直于超声波传感器方向时才准确。在(3)中提出了一种纠正这些区域数据的方法，我们决定采用另一种方法：将使用我们的三维视觉传感器，因为它能够在车辆前部和后部重建许多三维点数据。
视觉传感器用于在停放车辆的表面重建三维点，然后，这些重建的三维点云被近似成平面表面：横向平面。这些平面被约束为垂直于纵向平面。它们与纵向平面相交，该交点定义了它们的新端点。这些端点比仅使用不纠正的超声波数据更好地定位。当观察超声波和视觉传感器的性能时，它们具有互相补充的潜力，以建立停放车辆的轮廓并检测停车位。
停车位检测算法
该停车位检测算法分为三个部分，首先计算停车车辆的纵向平面，接下来计算停车车辆的横向平面。纵向和横向平面被组合成轮廓，并在重建的轮廓之间搜索停车位。
计算纵向平面
通过里程计，我们可以知道超声波传感器的三维位置，因此可以将超声波距离信息转换为三维点（图4中的蓝色点）。使用原始的超声波距离数据（没有像（3）中那样进行校正），将超声波三维点聚类成独立的集合，并且用垂直平面（图4中的蓝色平面）来近似描述这些点，即纵向平面。聚类超声波点和平面估计是迭代过程，每次获取新点时执行。如图4所示，在此阶段，连接到停车车辆的纵向平面过长，无法定位停放车辆的实际极限。在计算横向平面后，可以对这些极限的估计进行优化（横向平面会截取纵向平面并缩短它们的长度）。
侧向平面计算
通过拟合车辆末端的3D点云所得到的垂直平面。如图3和图4所示，创建了3D盒子（灰色框），它们与纵向平面的末端对齐，并用作3D感应区域。仅使用这些盒子内的视觉3D点（绿色点）来估计侧向平面（橙色平面），侧向平面被约束为垂直于其相关联的纵向平面，找到侧向平面就是要找到其沿着纵向平面的位置，计算直方图来分析视觉3D点沿着纵向平面的分布情况（见图3）。
停车位计算
对于一辆停着的车辆，如上所述计算出的纵向和横向平面构成了它的轮廓，两辆车之间的停车位被定义为车辆轮廓之间的可用空间（在图4中用虚线绿色矩形表示）。轮廓的角提供了停车位的定位点；这些角之间的距离提供了停车位的长度。通过将这个长度与我们的车长进行比较，就能判断出检测到的停车位是否适合停车。如果适合，则在空白空间的中间设置一个目标停车位（在图4中用实心绿色矩形表示）。该系统还能在仅检测到轮廓A时检测到可用停车位。事实上，一旦计算出纵向平面（属于轮廓A），系统就开始计算平面结束点和当前车辆位置之间的可用空间，当轮廓A的横向平面被计算出（一旦视觉传感器提供3D点），纵向平面的长度被修改，可用空间的定位和长度也被更新。
实验
我们的停车位检测系统在白天照明条件下进行了多次实验评估，包括平行和倒车入位停车场景（见图5的示例）。
例如，图3中原始输入中的接地平面仅在车辆前照灯前面照亮，但在其他地方保持黑暗。与白天太阳是主要光源不同，夜间拍摄的图像即使在同一物体上也具有不一致的局部亮度。由于光流是通过匹配两幅图像上的像素来估计的，这种不一致性导致现有方法很容易失败。
例如，在图5中，第一行显示了当行人从黑暗中走到车辆前灯中，其照明在整个框架中发生剧烈变化时，RAFT的灾难性故障。为了解决这个问题，我们求助于半监督学习。
这些评估的结果如下：
在大多数情况下，停车位都能够成功被检测到。其中一个例子如图6所示。
图5：CULane低速序列的光流估计
为了评估停车位定位的准确性，我们评估了轮廓A和B的角落位置的准确性，这是通过比较重建角点和相机中心之间的估计距离与由激光测距仪提供的地面真值进行的，每个角点的平均误差低于8厘米，为了评估停车位长度估计的准确性，我们将分析角点A和B之间分隔估计长度与由激光测距仪提供的地面真值之间的误差。平均误差低于16厘米。
通过结合超声和视觉系统获得的停车位位置和尺寸比仅使用超声系统的结果更好，误差在10到50厘米之间。
失败主要来自于超声数据处理步骤（纵向平面计算）的缺乏鲁棒性。
以下是失败的两个主要原因的示例：
发现当停放的车辆距离大约为2米时，超声原始数据过于嘈杂（达到了我们的超声传感器的极限）。纵向平面拟合模块受到干扰，它影响了横向平面定位，从而影响了停车位长度计算。
在测试中，行人在停放的车辆之间走动的情况导致停车位检测失败，因为假的纵向平面估计（行人产生了与真实纵向平面无关的声纳回波）。
有兴趣的小伙伴请参考原文。
总结
本文介绍了一种新的自动停车位检测系统，评估结果表明，超声波传感器和基于视觉的3D传感器之间的协作可以有效用于停车位检测，该方法计算出的停车位长度比标准超声波数据高10到50厘米，因此证明了视觉传感器的实用性，检测到的停车位的位置精度平均误差不超过8厘米，长度精度平均误差不超过16厘米，获得的精度足以满足预期应用要求，然而，鲁棒性问题仍需解决。
参考文献
(1) K.Fintzel, R.Bendahan, C.Vestri, S.Bougnoux and T.Kakinami, “3D Parking Assistant System”, in 11th World Congress on Intelligent Transport Systems, Nagoya, Japan, 2004
(2) S. Wybo, R. Bendahan, S. Bougnoux, C. Vestri, F. Abad and T. Kakinami, “Movement detection for safer backward maneuver”, in 13th World Congress on Intelligent Transport Systems, London, UK, 2006
(3) H. Satonaka, M. Okuda, S. Hayasaka, T. Endo, Y. Tanaka and T. Yoshida, “Development of parking space detection using an ultrasonic sensor”, in 13th World Congress on Intelligent Transport Systems, London, UK, 2006
资源
自动驾驶及定位相关分享
【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法
自动驾驶中基于激光雷达的车辆道路和人行道实时检测（代码开源）
更多文章可查看：点云学习历史文章大汇总
SLAM及AR相关分享
结构化PLP-SLAM：单目、RGB-D和双目相机使用点线面的高效稀疏建图与定位方案
更多详细内容后台发送“知识星球”扫码加入知识星球查看原文。
智驾全栈与3D视觉学习星球:主要针对智能驾驶全栈相关技术，3D/2D视觉技术学习分享的知识星球，将持续进行干货技术分享，知识点总结，代码解惑，最新paper分享，解疑答惑等等。星球邀请各个领域有持续分享能力的大佬加入我们，对入门者进行技术指导，对提问者知无不答。同时，星球将联合各知名企业发布自动驾驶，机器视觉等相关招聘信息和内推机会，创造一个在学习和就业上能够相互分享，互帮互助的技术人才聚集群。
以上内容如有错误请留言评论，欢迎指正交流。如有侵权，请联系删除
扫描二维码
关注我们
让我们一起分享一起学习吧！期待有想法，乐于分享的小伙伴加入知识星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉，点云，高精地图，自动驾驶，以及机器人等相关的领域。
分享及合作方式：微信“920177957”（需要按要求备注） 联系邮箱：dianyunpcl@163.com，欢迎企业来联系公众号展开合作。
点一下“在看”你会更好看耶
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
