点击上方“3D视觉工坊”，选择“星标”
干货第一时间送达
作者丨GIS前沿
编辑丨3D视觉工坊
是否可以通过将激光雷达与摄影测量技术相结合来提高点云的精度和密度？激光雷达数据可以穿透树木并测量阴影区域，以生成非常精确的点云。被动成像相机可导出更详细的 3D 模型，并使用多光谱信息对点云进行编码，从而实现有用的彩色点云分类。如果有可能合并这些技术呢？中性密度滤镜会对点云颜色产生什么影响？本文更详细地探讨了定量和定性点云增强。
无人机（UAV或“无人机”）在许多环境应用中越来越受欢迎，提供点云数字表面模型（DSM）和正射影像。无人机飞行生成的数据集的准确性取决于数据捕获方法、主动激光雷达传感器或被动遥感传感器（摄像头）。点云数据集通常包含大量不希望的不规则性，例如局部点密度的强变异性、缺失数据、重叠点和噪声。黎巴嫩大学文学与人文科学学院地理空间实验室最近的这项研究应用了各种方法来提高点云质量，并进行了实地实验，以减少点云的不良不规则性。
一种新型点云质量改进方法
高分辨率和高密度点云在许多应用中发挥着重要作用，例如变形监测研究以及室内和室外测绘。一些研究比较了激光雷达和运动结构 （SfM） 摄影测量技术，发现激光雷达数据集更准确，因为 SfM 派生的结果是可变的。SfM摄影测量的一个优点是使用多光谱信息对点云进行编码，这是一种有用的彩色点云分类。但是，激光雷达数据可以穿透树木并测量阴影区域以生成非常精确的点云。激光雷达扫描仪提供相对精确的3D点云，与被动成像相机相反，被动成像相机可以获得更详细的现实世界3D模型。
地理空间技术用户经常质疑扫描城市地区的选择：激光雷达还是摄影测量？但是，当这两种技术都被利用时会发生什么呢？风景和街道摄影师使用中性密度（ND）滤镜来增强他们的图像，那么为什么不将这种方法应用于摄影测量呢？
黎巴嫩大学文学与人文科学学院地理空间实验室开发了一个框架，引入一种基于激光雷达和SfM融合的新型点云质量改进方法，并在无源传感器上集成中性密度滤波器。实施了两项改进：1） 提高激光雷达点云密度和 SfM 点云精度，以及 2） 增强点云颜色。通过测试点云融合和四个中性密度滤光片（ND-4、ND-8、ND-16 和 ND-32）对点云着色的影响，探索了定量和定性点云增强。
融合
来自许多学科的点云用户都对融合激光雷达和摄影测量数据以定性地增强点云表现出兴趣。然后，SfM 和激光雷达数据的融合可提高数据集的可用性和优势。在这项研究中，研究人员利用激光雷达和SfM技术制作了一个点云，并利用迭代最近点（ICP）方法将激光雷达和摄影测量点云融合到一个映射帧中。
由于无人机图像受到太阳光线的影响，摄影测量师建议任务以较低的太阳强度进行。为了减少阳光量，专业摄影师使用ND滤镜。由于缺乏参考在摄影测量中使用ND滤镜的文献和项目，本研究是首批测试此类滤镜对无人机数据集增强影响的研究之一。
点云精度和密度增强
激光雷达和摄影测量的航空数据集的地理配准可以通过GPS-RTK或GPS-PPK在相同的坐标系中完成。迭代最近点 （ICP） 算法有助于缩短源激光雷达点云与摄影测量最近点对之间的距离，从而实现更高的精度。
ICP方法的主要优点是直接使用测量数据，因为不需要插值或其他数据修改。它试图通过最小化相应点对的平均距离来找到两个点云之间的最佳变换。
按照 ICP 算法，基于激光雷达和 SfM 的点云被合并到一个融合点云文件中（图 1）。
新的合并点云的特点是激光雷达的高精度和SfM点云的高密度。在飞行高度为150米的城市地区，研究人员扫描了845，669个激光雷达点。在同一个空中平台上，一台相机拍摄了343帧。应用 SfM 技术生成的点云比单独的激光雷达大七倍，总共有 600 万个点（图 2）。
图2的视觉定性分析使用形状，形式和密度等标准，而定量方法使用点云密度。不同数据集的点云可视化在点密度、细节和噪声方面显示出明显的差异。由于摄影测量点云的噪声和各种不确定性，使用摄影测量和激光雷达点云来检测建筑物边界存在局限性。此外，由于激光雷达技术是一种基于激光束的主动遥感技术，因此它可以检测电线，围栏等薄结构。
建筑物边界的线性结构的可视化分析在激光雷达中具有非常精确的几何形状。相比之下，在SfM中，建筑物和高大的树木受到阴影的影响，并且没有点云区域。激光雷达和SfM之间的区别在于建筑物和树木造成的阴影，以及树木在没有叶子时被省略（图2）。ICP 算法通过填充激光雷达点云中的这些空白区域以在合并的点云中进行插值来解决此问题。
在SfM中，由于高地采样距离（GSD）为3厘米，在屋顶上检测到灌木，小树，堤防和太阳能电池板。合并的数据集还具有可视化这些城市结构的可用性。SfM方法不能穿透植被覆盖。
生成的融合点云通过从激光雷达数据集中获取精度来提高SfM点云的质量，并通过从SfM点云增加其密度来提高激光雷达点云的质量（Doumit，2020）。
点云颜色增强
中性密度滤光片因其不影响通过它们的光的颜色而得名。使用 ND 灰度滤镜可以将光线减少一个、两个、三个或更多光圈，从而允许较慢的快门速度（Bryan 2004）。
表1：中性密度滤光片规格（光密度、止动还原和透射率）
表1显示，滤光片的光密度和停止还原随滤光片数量的增加而增加，且对透射率有较大影响。为了测试ND滤镜，在同一区域进行了五次飞行：无滤镜，ND-4，ND-8，ND-16和ND-32。处理结果输出了五个点云，这些点云具有相同的规格，但具有不同的颜色，辐射测量和纹理。无滤波点云是滤波点云之间比较的基础。在视觉解释中（图3），在使用ND-4、ND-8和ND-16生成的点云中检测到高纹理细节，而在没有滤镜和ND-32的点云中，细节不太清晰。
砖屋顶，树叶，围栏和其他细节在ND-8和ND-16中突出显示，并在所有其他点云中被遮挡。颜色亮度和对比度的变化使得目标与其他元素（如形状，大小等）的识别成为可能。纹理是从粗糙到光滑的音调变化的排列和频率;平滑纹理具有均匀的色调变化，例如没有滤镜的点云和ND-32，而粗糙的纹理具有突然的色调变化，如使用ND-4，ND-8和ND-16的结果中所示（Doumit和阿布查克拉，2020）。
图 3：在没有中性密度滤镜的情况下使用中性密度滤镜生成的点云颜色
在视觉图像解释中，ND-8和ND-16被选为颜色更好的点云。如果图3所示的结果按从最详细到最不详细的顺序排列，分类如下：ND-8、ND-16、ND-4和ND-32。仅当摄影测量任务期间出现高太阳强度时，才应使用 ND-32 滤光片。
结论
研究人员测试了无人机生成的激光雷达和摄影测量点云，以评估点云质量的增强。ICP用于将两个点云合并为一个映射帧，以提高摄影测量点云的准确性，并为激光雷达点云增加更多的密度。
通过生成激光雷达、SfM 摄影测量和合并的点云，可以在质量方面进行比较。结果表明，在数据融合过程之后，摄影测量点云中的间隙和激光雷达点云的低密度可以得到增强。该研究还考虑了中性密度滤光片对点云颜色增强的影响。
综上所述，为了更好地绘制大比例城市地区，最好使用激光雷达和摄影测量点云数据的融合，因为激光雷达可以穿透茂密的植被并准确地生成地面点，而基于图像的匹配点云可以提供密集的高纹理和高空间分辨率数据集。鉴于此，作者希望新软件将很快可用于将摄影测量生成的点云与激光雷达点云合并为一个最终的增强数据集。
本文仅做学术分享，如有侵权，请联系删文。
干货下载与学习
后台回复：巴塞罗那自治大学课件，即可下载国外大学沉淀数年3D Vison精品课件
后台回复：计算机视觉书籍，即可下载3D视觉领域经典书籍pdf
后台回复：3D视觉课程，即可学习3D视觉领域精品课程
3D视觉工坊精品课程官网：3dcver.com
2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿，加微信：dddvision
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近6000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
