【论文阅读】——Overview of Underwater 3D Reconstruction Technology Based on Optical Images

已于 2025-05-17 10:56:51 修改
阅读量1k 收藏 21
点赞数 22
分类专栏： 文章阅读 文章标签： 论文阅读 3d
于 2025-05-13 16:42:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52592798/article/details/147854046
版权

文章目录

摘要

目前，三维重建技术正逐渐应用于水下场景，已成为人类海洋勘探和发展的热点研究方向。由于近年来计算机视觉的快速发展，光学图像 3D 重建已成为主流方法。因此，本文重点介绍了水下环境中的光学图像三维重建方法。然而，由于声纳在水下三维重建中的广泛应用，本文还介绍和总结了基于声像和光声融合方法的水下三维重建。首先，利用 Citespace 软件对现有的水下图像文献进行可视化分析，直观地分析了该领域的热点和关键研究方向;其次，介绍了水下环境与常规系统相比的特殊性。光学图像重建中遇到的工程问题强调了两个科学问题：水下图像退化和水下相机的校准。然后，在本文的主要部分，我们重点介绍了基于光学图像、声像和光声融合的水下三维重建方法，回顾了文献并对现有解决方案进行了分类。最后，考虑了该领域未来的潜在进展。

关键词：水下三维重建;运动的结构;声纳;回顾

1 前言

目前，三维数据测量和物体重建技术正逐渐应用于水下场景，已成为一个热门的研究方向。它们可用于生物调查、考古和其他研究[1,2]，还可以方便人们探索和绘制海底地图。这些地图通常由一个或多个传感器收集的三维数据组成，然后使用 3D 重建算法进行处理。然后，对采集到的 3D 数据进行处理，得到实际场景的 3D 信息，还原目标的实际 3D 结构。这种工作流程称为 3D 重建 [3]。

3D 重建的发展是一个漫长的过程。早期的 3D 重建主要通过手动绘图完成，耗时且劳动强度大 [4]。如今，主要的 3D 重建技术可分为基于图像的 3D 重建和基于激光扫描仪的 3D 重建，它们使用不同类型的设备（分别为相机和激光扫描仪）来执行任务 [5]。Ying Lo 等 [6] 根据两种方法在准确性、成本、时间效率和灵活性方面的结果研究了这两种方法的成本效益。根据研究结果，激光扫描方法的精度几乎与基于图像的方法的精度相当。然而，基于激光扫描的方法需要昂贵的仪器和熟练的运算符来获取准确的模型。基于图像的方法会自动处理数据，成本相对较低。(激光和图像精度差不多，激光贵对齐难，所以着重图像)

因此，基于图像的水下三维重建是当前研究的重点，根据不同的手段，可以分为水下图像的光学三维重建和声学三维重建。光学方法主要使用光学传感器获取水下物体或场景的三维信息并对其进行重建。近年来，基于水下光学图像的 3D 重建技术取得了进展。然而，由于海底环境的多样性、复杂性和光波传播能量的快速衰减，满足实际应用的需求往往具有挑战性。因此，研究人员还提出了基于水下图像的声学方法，主要使用声纳传感器获取水下信息。由于声纳在水中传播具有损耗低、穿透能力强、传播距离长、受水质影响小等特点，声纳已成为研究水下环境的不错选择。

关于航母和成像设备，由于科学技术的不断进步，深海机器人中的水下相机系统和定制系统不断改进。有人和无人驾驶的车辆可以缓慢进入大片海域，并在水下不断拍摄更高质量的图像和视频，为水下 3D 重建提供更新和更准确的数据。利用传感器记录水下场景，科学家现在可以获得准确的二维或三维数据，并使用标准软件与之交互，这有助于实时了解水下环境。可以使用部署在水下的传感器（例如水下三脚架或固定设备）、潜水员作的传感器、遥控潜水器 （ROV） 或自主水下航行器 （AUV） 进行数据采集。

目前，水下三维重建领域的综述论文很少。2015年，Shortis M [7]从理论和实践两个方面回顾了水下相机系统标定的不同方法，并讨论了水下相机系统标定的准确性、可靠性、有效性和稳定性。MassotCampos， M. 和 Oliver-Codina， G [3] 回顾了水下环境中常用的光学传感器和 3D 重建方法。2017 年，乔习等 [8] 回顾了水下机器视觉领域的发展及其潜在的水下应用，并将现有研究与商业产品的水下 3D 扫描仪进行了比较。2019 年，Miguel Castillón 等 [9] 回顾了光学三维水下扫描仪的研究以及光投影和光传感技术的研究进展。最后，在 2019 年，Avilash Sahoo 等 [10] 回顾了水下机器人领域，展望了未来的研究方向，并详细讨论了当前自主水下航行器的定位和导航技术以及不同的最佳路径规划和控制方法。

以上综述论文为水下三维重建的研究做出了一定的贡献。然而，首先，这些贡献大多只关注水下重建的某个关键方向，或者提供了对某种重建方法的回顾，如水下相机标定、水下三维仪器等。对于水下环境下三维重建遇到的困难以及目前水下图像常用的重建方法，没有全面的总结。其次，自 2019 年以来，一直没有相关综述来总结这个方向的研究结果。第三，没有讨论目前正在开发的多传感器融合问题。

因此，有必要对常见的水下三维重建方法和水下环境中遇到的困难进行全面的调查，以帮助研究人员了解这一方向的概况，并在现有情况的基础上继续努力。因此，本文的贡献如下：

（1）利用 Citespace 软件对近二十年来水下三维重建方向的相关论文进行可视化分析，可以更方便、直观地展示该领域的研究内容和研究热点。
（2）在水下环境中，解决了图像重建面临的挑战和当前研究人员提出的解决方案。
（3）本文系统介绍了目前广泛使用的水下图像三维重建的主要光学方法，包括运动结构、结构光、光度立体、立体视觉和水下摄影测量，并回顾了研究人员应用这些方法的经典方法。此外，由于声纳在水下三维重建中应用广泛，本文还介绍和总结了基于声像和光声融合的水下三维重建方法。

本文组织如下：第一部分主要介绍了水下三维重建的意义和本文的重点研究方向。第 2 部分使用 Citespace 软件根据文件对水下 3D 重建区域进行可视化分析，并分析该领域的发展现状。第 3 节介绍了水下环境与传统系统相比的特殊性以及水下光学图像三维重建面临的困难和挑战。第 4 节介绍了基于光学的水下重建技术，并总结了现有技术的发展和研究人员对算法的改进。第 5 节介绍了基于声纳图像的水下 3D 重建方法，并对现有结果进行了回顾;它进一步总结了使用光声融合进行 3D 重建。最后，在第六部分中，对基于图像的水下三维重建的现状进行了总结和展望。

2. 水下三维重建的发展现状

基于文献的水下三维重建发展分析

本文用于文献分析的主要研究工具是陈朝美博士开发的 Citespace 软件 [11]。Citespace 可用于测量特定领域的文献集合，以发现学科领域演变的关键路径，并形成一系列可视化地图，以获得该学科演变和学术发展的概况 [12–14]。基于 Citespace 的文献分析可以更方便、更直观地展示某个领域的研究内容和研究热点。

我们在 Web of Science 上进行了高级检索。通过将关键词设置为水下三维重建和水下相机标定，时间从 2002 年到 2022 年，以及排除参考文献的检索范围，总共得到 1000 多篇文献。水下相机标定的主题是本文总结的光学图像 3D 重建的基础，因此我们在设置关键字时增加了水下相机标定。Citespace 软件用于水下 3D 重建相关文献的视觉分析，并根据关键字映射和作者贡献数量分析了最近 20 年对水下重建的探索。

使用检索到的文档创建了一个关键字热图，如图 1 所示。圆圈越大，关键字出现的次数越多。圆圈的不同层次代表从内到外的不同时间。连接线表示不同关键字之间的联系。其中，圆圈最大的“重建”是本文的主题。术语“相机校准”、“运动结构”、“立体视觉”、“水下摄影测量”和“声纳”也是本文的重点，也是当前水下 3D 重建研究的重点。因此，我们可以清楚地看到该领域当前的热点和需要研究的关键领域。

此外，我们还使用 Web of Science 中的检索结果分析功能，分析了以水下三维重建为主题的已发表论文的研究领域统计数据以及相关文章引用的数据。图 2 显示了水下 3D 重建主题相关论文的引用频率的折线图。图片的横坐标表示年份，纵坐标表示相关论文的引用次数。该图显示，随着时间的推移，与水下 3D 重建相关的论文引用次数迅速增加。显然，水下 3D 重建领域已经受到越来越多的关注，因此本次综述结合当前的热点具有重要意义。

在这里插入图片描述
图 1.水下 3D 重建领域的热门词汇。

在这里插入图片描述
图 2.近年来 Web of Science 论文的引用。

图 3 显示了以水下 3D 重建为主题的论文的研究领域的统计直方图。横坐标是检索到的论文的字段，纵坐标是字段中的论文数。考虑到检索到相关论文的研究领域，水下三维重建是工程和计算机科学中的热门话题。因此，当我们探索水下三维重建的方向时，我们应该特别关注工程问题和计算机相关问题。从以上分析可以明显看出，水下三维重建的研究是目前的一个热门话题，随着时间的推移，它受到了越来越多的关注，主要发展在计算机科学与工程领域。鉴于深度学习方法在各个领域的迅速崛起 [15–23]，水下三维重建的发展也迎来了快速增长期，大大提高了重建效果。

在这里插入图片描述
图 3.使用 Web of Science 找到的论文的研究领域。

图 4 显示了 2005 年至 2022 年使用 Citespace 软件制作的高频前 16 个关键词。Strength 代表关键词的强度，值越大，关键词被引用的次数就越多。右边的线是从 2005 年到 2022 年的时间线。‘begin’ 列表示关键字首次出现的时间。‘Begin’ 到 ‘End’ 表示该关键词在今年非常活跃。红线表示活动频繁的年份。从图中可以看出，“声纳”、“水下摄影测量”、“水下成像”和“水下机器人”等词语是目前水下三维重建领域的热门研究课题。“structure from motion”和“camera calibration”等强度较高的关键词清晰地展示了该领域的热门研究话题，也是本文的重点。

考虑到科学技术的不断进步，探索海洋的愿望越来越强烈，一些学者和团队为水下重建做出了重大贡献。众多学者和团体的贡献有助于改进特殊水下环境中的重建过程，并为后续的一系列重建问题奠定了基础。我们从 Web of Science 检索了 1000 多篇关于水下 3D 重建的文章，并获得了图 5 所示的作者贡献图。字体越大，作者受到的关注就越大。

引文爆发率最强的前 16 个关键词引文爆发率最高的前 16 个关键词
在这里插入图片描述
图 4.高频关键词出现的时序图。
在这里插入图片描述
图 5.水下三维重建领域的杰出学者。

有一些代表性的研究团队。Chris Beall 等人提出了一种用于水下结构的大规模稀疏重建技术 [24]。Bruno F et al. 提出了基于立体视觉系统的结构化照明图案投影 [25]。Bianco 等人比较了两种基于主动和被动方法以及全场采集的水下 3D 成像技术 [26]。Jordt A 等人使用图像形成的几何模型来考虑折射。然后，从相机标定开始，提出了一个完整的自动三维重建系统，该系统获取图像序列并生成三维模型[27]。Kang L 等人研究了一种带有两个摄像头的常见水下成像设备，然后使用简化的折射相机模型来处理折射问题 [28]。Chadebecq F等人提出了一种新的RSfM框架[29]，用于通过薄折射界面观察的相机，以改进估计的相对相机姿态的初始估计。Song H等人提出了一种全面的水下视觉重建增强-配准-同质化（ERH）范式[30]。Su Z等人提出了一种基于平面折射的灵活而精确的立体DIC [31]几何图形来测量流体浸没物体的 3D 形状和变形。表 1 列出了它们的主要贡献。

表 1.一些杰出的团队及其贡献。

ReferencesContribution
Chris Beall [ 24 ]大规模稀疏重建技术
Bruno, F. [ 25 ]基于 SV 系统的结构光（SL）图案投影
Bianco [ 26 ]作者将主动和被动方法采集的三维点云进行整合，并利用了每种技术的优势
Jordt, A. [ 27 ]作者通过图像形成的几何模型对折射进行补偿
Kang, L. [ 28 ]简化的折射相机模型
Chadebecq, F. [ 29 ]一种新型的 RSfM 框架
Song, H. [ 30 ]一种综合性水下视觉重建 ERH 范式
Su, Z. [ 31 ]一种灵活且精确的立体数字图像相关（stereo - DIC）技术

本文主要利用 Citespace 软件和 Web of Science 搜索分析功能，分析了水下三维重建的现状和热点方向，以便研究人员快速了解该领域的热点和关键点。在下一节中，我们将分析水下环境与传统环境相比的独特性;也就是说，我们分析了在水下环境中进行光学图像 3D 重建时需要解决的挑战。

3. 水下环境带来的挑战

主要讲的光学，声学影响小

基于光学图像的 3D 重建的发展已经比较成熟。与其他方法相比，它具有负担得起且有效的优点。但是，在水下环境中，它与常规系统具有不同的特点，主要体现在以下几个方面：

（1）水下环境复杂，可到达的水下场景有限，因此难以部署系统和作设备 [32]。

（2） 数据收集难度大，需要潜水员或特定设备，对采集人员要求高 [33]。

(3)水体的光学特性和光线不足导致图像变暗和模糊 [34]。光吸收会导致图像的边界模糊，类似于晕影效果。

(4)在空中捕获水下图像时，由于密度的差异，传感器与水下物体之间以及空气与玻璃罩与水之间存在折射效应，这会改变相机的固有参数，导致处理图像时算法性能下降 [35]。因此，需要进行特定的校准 [36]。

(5)当光子在水性介质中传播时，它们会受到水中颗粒的影响，这些颗粒可以散射或完全吸收光子，导致最终到达图像传感器的信号衰减 [37]。红色、绿色和蓝色离散波以不同的速率衰减，它们的效果在原始水下图像中立即显现出来，其中红色通道衰减最大，蓝色通道衰减最小，从而产生蓝绿色图像效果 [38]。

(6)在浅水区（小于 10 m）拍摄的图像可能会受到阳光闪烁的严重影响，由于阳光在不断变化的空气 - 水界面处的折射，这会导致强烈的光线变化。这种闪烁会迅速改变场景的外观，这使得特征提取和基本图像处理功能的匹配更加困难 [39]。

这些工程问题将影响水下重建系统的性能。研究人员使用的传统系统的算法通常无法轻松满足水下实际应用的需求。因此，水下环境中的 3D 图像重建需要改进算法。

基于光学的水下图像的 3D 重建受上述工程问题的影响很大。研究表明，它们主要可以分为两个科学问题，即水下图像的劣化和水下相机的标定。同时，基于声学图像的水下三维重建受水下环境问题的影响较小。因此，本节主要介绍水下图像退化的处理和水下相机标定对光学方法的改进。它们是常规系统在水下环境中的特色，也是水下三维重建的关键和重点。

3.1. 水下图像降级

由于独特的水下环境，采集到的图像质量较差，降低了 3D 重建效果。在本节中，我们首先讨论了浅水（水深小于 10 m）中光反射或折射引起的焦散效应以及研究人员提出的解决方案。其次，我们讨论了水下光吸收或散射引起的图像退化以及两种常见的水下图像处理方法，即水下图像修复和视觉图像增强。

3.1.1. 反射或折射效果

水下环境中的每个深度都会影响 RGB 图像，尤其是浅水区（水深小于 10 m）的焦散，即曲面反射或折射光的复杂物理现象，这似乎是降低所有无源光学传感器图像质量的主要因素 [39]。在深海摄影测量方法中，由于照明明亮，中午通常是数据收集的最佳时段；对于浅水区，拍摄对象需要强烈的人工照明，或者在阴凉处或地平线上拍摄图像，以避免在海底反射 [39]。如果在采购阶段无法避免，则图像匹配算法会受到焦散和光照效果的影响，最终结果是生成的纹理与正射影像不同。此外，焦散效应会破坏大多数图像匹配算法，导致匹配不准确 [39]。图 6 显示了水下图像中不同形式的焦散效应的图片。

这些工程问题将影响水下重建系统的性能。研究人员使用的传统系统的算法通常无法轻松满足水下实际应用的需求。因此，水下环境中的 3D 图像重建需要改进算法。

基于光学的水下图像的 3D 重建受上述工程问题的影响很大。研究表明，它们主要可以分为两个科学问题，即水下图像的劣化和水下相机的标定。同时，基于声学图像的水下三维重建受水下环境问题的影响较小。因此，本节主要介绍水下图像退化的处理和水下相机标定对光学方法的改进。它们是常规系统在水下环境中的特色，也是水下三维重建的关键和重点。

在这里插入图片描述
这里弄一个资产生成？，
图 6.水下图像中不同形状的焦散效果。

目前只有少数文献贡献提到了通过从图像和视频中去除焦散来优化图像的方法。对于不断变化的水下景观，Trabes 和 Jordan 提出了一种方法，需要改变阳光偏转的过滤器 [40]。Gracias等[41]提出了一种新策略，其中数学求解并提出了一种去除太阳光的在线方法，该方法将焦散解释为动态纹理。然而，正如他们在研究中指出的那样，这种技术只有在海床或海底表面水平的情况下才有效。

在 [43] 中，Schechner 和 Karpel 提出了一种基于非线性算法分析多个连续帧的方法，以保持图像的构图相同，同时消除波动。但是，此方法不考虑摄像机运动，这会导致配准不准确。

为了避免不准确的配准，Swirski 和 Schechner [44] 提出了一种使用立体声设备去除焦散的方法。立体相机提供深度图，然后可以使用迭代最近点将深度图一起配准。这再次对场景的刚性做出了强烈的假设，这在水下很少发生。

尽管有上述创新和复杂的技术，但使用程序方法去除焦散效果需要对所涉及的各种参数（如场景刚度和摄像机运动）进行严格的假设。

因此，Forbes 等 [45] 提出了一种不做这种假设的方法，一种基于两个卷积神经网络（CNN）[46–48] 的新解决方案：SalienceNet 和 DeepCaustics。显著性图是第一个网络在训练时产生的焦散分类，内容表示像素焦散的可能性。当训练第二个网络时，将生成无焦散图像。焦散点生成的真正基本原理非常困难。他们使用合成数据进行训练，然后将学习转移到真实数据。这是第一次在为数不多的少数解决方案中，将具有挑战性的腐蚀去除问题作为分类和学习问题进行重构和处理。两个紧凑、易于训练的 CNN 是 Agrafiotis 等 [39] 提出的独特解决方案的基础，并测试了一种基于两个小型、易于训练的 CNN [49] 的新解决方案。他们展示了如何使用一小组合成数据训练网络，然后将学习成果转化为真实数据，并具有类内变异的稳健性。该解决方案可生成无焦散的图像，这些图像可以进一步用于其他可能的任务。他们展示了如何使用一小组合成数据训练网络，然后将学习成果转化为真实数据，并具有类内变异的稳健性。该解决方案可生成无焦散的图像，这些图像可以进一步用于其他可能的任务。

焦散方向的小综述

3.1.2. 吸收或散射效果

水在穿过光时会吸收和散射光。不同波长的光被不同类型的水吸收不同。水下成像过程如图 7 所示。在大约 5 m 的深度，红光会迅速减弱和消失。绿光和蓝光在水下都会逐渐消失，蓝光在大约 60 m 的深度消失。光在传输过程中会改变方向，并且由于被悬浮物和其他介质散射，因此分散不均匀。介质的特性、光和偏振都会对散射过程产生影响 [38]。因此，水下视频图像通常为蓝绿色，并带有明显的雾效果。图 8 显示了一些低质量的水下图像。左侧的图像有明显的色差，整体外观为绿色。右侧的图像演示了水下图像中常见的雾化。

低质量的图像会影响后续的 3D 重建视觉处理任务。在实际使用中，水下考古、生物研究和收集等水下图片质量差，极大地阻碍了项目 [50]。水下环境违反了陆地技术中的亮度 - 恒定性约束，因此将陆地上的重建方法转移到水下领域仍然具有挑战性。最先进的水下 3D 重建方法使用光在水下传播的物理模型来考虑散射和衰减的等距效应。但是，这些方法需要仔细校准衰减物理模型所需的系数，或者依赖于以前实验室实验中对这些系数的粗略估计。

在这里插入图片描述
图 7.水下成像模型。
在这里插入图片描述
图 8.典型的水下图像。
目前水下图像3D重建的主要方法是在3D重建之前增强原始水下图像，以恢复水下图像，并可能提高生成的3D点云的水平[51]。因此，如何获得尽可能正确或真实的水下彩色图像已成为一个极具挑战性的问题，同时也成为一个前景广阔的研究领域。水下彩色图像影响了基于图像的3D重建和场景映射技术[52]。

为了解决这些问题，根据文献中对水下图像处理的描述，实现了两种不同的水下图像处理方法。第一个是水下图像修复。其目的是重建或恢复由不利因素引起的退化图像，例如在复杂的水下环境中，相机和物体的相对运动、水下散射、湍流、失真、光谱吸收和衰减[53]。这种严格的方法尝试使用适当的模型恢复真实颜色并校正图像。第二种方法使用基于定性标准的水下图像增强技术[54,55]。它使用计算机技术处理劣化的水下照片，将最初的低质量图像转化为高质量的图像[56]。该增强技术有效地解决了原始水下视频图像的问题，如颜色偏差、低对比度、雾化等[57]。视觉感知随着视频图像的增强而提高，这反过来又有助于执行以下可视化任务。图像增强技术不考虑图像生成过程，也不需要对环境因素有先验的了解[52]。机器学习和深度学习的最新发展使新的和更好的水下图像处理方法成为可能[22,58\u201263]。随着水下图像色彩修复和增强技术的发展，水下图像 3D 重建专家面临着如何将其应用于水下图像 3D 重建的挑战。

3.2. 水下相机校准

在水下摄影测量中，首先要考虑的是相机校准，虽然这在空气条件下是一项微不足道的任务，但在水下实施并不容易。水下相机校准比空中校准面临更多的不确定性，因为光线会通过外壳端口和水介质进行衰减，并且由于建模假设或介质误差的不均匀性，折射光的路径会发生微小的潜在变化。因此，与空中的相同校准相比，水下校准的准确度和精密度通常较低。由于这些影响，经验表明，水下校准更易导致测量中的刻度不准确 [64]。

Malte Pedersen 等 [65] 比较了三种水下物体的 3D 重建方法：一种仅依赖航空相机校准的方法，一种水下相机校准方法和一种基于斯涅尔定律的射线追踪方法。航空相机校准显示的精度最低，因为它不考虑折射。因此，需要对水下相机进行校准。

正如水下环境的特殊性所提到的，空气 - 玻璃 - 水界面的折射会导致图像的较大失真，在校准相机时应考虑这一点 [66]。两种介质之间的密度差异是导致这种折射的原因。如图 9 所示，入射光束在穿过两种介质时会发生变化，从而改变光路。

在这里插入图片描述
图 9. 由空气 - 玻璃（丙烯酸）- 水界面引起的折射。

根据它们的入射角，延伸到空气中的折射光线（用虚线显示）在多个点相交，每个点代表不同的视点。由于折射的影响，水中的物体点、相机的投影中心和图像点 [67] 之间没有共线性，这使得成像场景看起来比实际场景宽。平面界面的畸变受距相机中心像素的距离影响，畸变随距离的增加而增大。压力、温度和盐度的变化会改变水的折射率，甚至改变相机的处理方式，从而改变校准参数 [68]。因此，物件平面坐标和图像平面坐标之间存在不匹配。

此问题主要使用两种不同的方法来解决：
（1）开发具有折射校正功能的新校准方法。Gu等[69]提出了一种创新有效的中型驱动水下相机校准方法，可以精确校准水下相机参数，例如透明玻璃的方向和位置。为了更好地构建几何限制并计算水下相机参数的初始值，使用不同介质之间的介质折射产生的光程变化来获得校准数据。同时，他们基于四元数，提出了一种水下相机参数优化方法，旨在提高水下相机系统的标定精度。

(2)现有算法已得到改进以减少折射误差。例如，Du 等 [70] 建立了一个实际的水下相机标定图像数据集，以提高水下相机标定的准确性。通过结合最佳邻域扰动和逆向学习技术，使用粘菌优化算法优化了传统校准方法的结果。在表面使用海鸥算法 （SOA） 和粒子群优化 （PSO） 算法验证了所提算法的精度和有效性。

其他研究人员提出了不同的方法，例如修改共线方程。然而，其他人提出，矫正镜片或圆孔可以消除折射效应，并使用圆顶端口的压力壳，从而在水下提供近乎完美的中心投影 [71]。相机镜头的入瞳和矫正镜头的曲率中心必须对齐，矫正镜头方法才能起作用。这假定相机是一个完美的中央投影。一般来说，为了确保最终结果的准确性，必须进行全面校准。对于半球未对准或端口平坦的相机，传统的畸变模型调整方法是不够的，必须使用完整的物理模型 [72]，同时考虑玻璃厚度 [67,73]。

其他作者已经使用折射相机模型考虑了折射。与 [28] 一样，采用了简化的折射相机模型。

本节主要介绍了水下环境特殊工程问题产生的两个主要科学问题，即水下图像退化和水下相机标定，并介绍了这两个主要问题的现有解决方案。在下一节中，我们将介绍用于水下图像 3D 重建的光学方法。它使用光学传感器获取水下物体或场景的图像信息以进行重建。

4 光学方法

光传感器件根据其与介质的相互作用可分为有源和无源。有源传感器是指可以根据环境辐射和投影来增强或测量所收集数据的传感器。结构光是主动系统的一个例子，其中图案被投射到物体上进行 3D 重建 [74]。被动方法是在不改变或改变场景的情况下感知环境。运动结构、光度立体、立体视觉和水下摄影测量通过感知环境的现实来获取信息，是被动方法。

本节详细介绍和总结了基于光学及相关方法的三维水下图像重建传感技术，详细描述了运动、结构光、光度立体、立体视觉和水下摄影测量等结构在水下三维重建中的应用。
(4.1\4.2\4.4\4.5是无源，4.3是有源)

4.1. 运动中的结构

运动结构 （SfM） 是一种使用多个图像进行 3D 重建的有效方法。它始于 Longuet Higgins 的开创性论文 [75]。SfM 是一种三角测量方法，涉及使用单目相机拍摄照片主题或场景。为了确定相机的相对运动，从而确定其 3D 路线，从这些相机镜头中提取图片特征，并在连续帧之间匹配 [76]。首先，假设有一个校准的相机，其中的主轴、校准、镜头畸变和折射元素是已知的，以确保最终结果的准确性。
给定 b 个固定 3D 点的图像，则可以估计出投影矩阵 ( P i ) (P_{i}) (Pi​)和 b 3D 点 ( X j ) (X_{j}) (Xj​) 来自 ( X i j ) (X_{i j}) (Xij​)的 ( a − b ) (a-b) (a−b)对应关系。

[ X i j = P i X j , i = 1 , . . . , a , j = 1 , . . . , b ] [X_{i j}=P_{i} X_{j}, i=1, ..., a, j=1, ..., b] [Xij​=Pi​Xj​,i=1,...,a,j=1,...,b]

因此，如果整个场景缩放 m 因子，同时将投影矩阵缩放因子 ( 1 / m ) (1/m) (1/m) ;场景点的投影保持不变。因此，该秤仅适用于 SfM。

[ x = P X = ( 1 m P ) ( m X ) ] [x=P X=\left(\frac{1}{m} P\right)(m X)] [x=PX=(m1​P)(mX)]

由 λ 参数化的解组为：

[ X ( λ ) = P + x + λ n ( 3 ) ] [X(\lambda)=P^{+} x+\lambda n \quad(3)] [X(λ)=P+x+λn(3)]

其中 ( P + ) (P^{+}) (P+) 是 P 的伪逆函数（即 ( P P + = I ) (P P^{+}=I) (PP+=I)）， ( n ) (n) (n) 是其空向量，即相机中心，由 ( P n = 0 ) (P n=0) (Pn=0) 定义

SfM 是最经济的方法，易于安装在机器人上，只需要一个可以捕捉静止图像或视频的相机或录像机，并且有足够的存储空间来容纳整个图像。实质上，SfM 包括特征点检测、描述和匹配的自动化任务。在这个过程中，最关键的任务是特征检测、描述和匹配，然后才能得到需要的 3D 模型。有许多经常使用的特征检测技术，包括加速鲁棒特征 （SURF） [77]、尺度不变特征转换 （SIFT） [78] 和 Harris。这些特征检测器具有空间不变的特性。然而，当图像发生重大修改时，例如在水下图像中，它们不会提供高质量的结果。事实上，水中的悬浮颗粒、光吸收和光折射使图像模糊并增加噪点。为了比较 Harris 和 SIFT 的特征，Meline 等 [79] 在浅水区使用了 1280×720 px 的相机，以获得足够强大的匹配点，以重建 3D 水下考古物体。在本文中，作者重建了一个半身像，他们得出结论，与 SIFT 相比，Harris 方法可以从图片中获得更稳健的点，但 SIFT 点也不能被忽视。与 Harris 相比，SIFT 对散斑噪声的抵抗力较弱。此外，Harris 在不同场景中呈现了更好的内部计数。

SfM 系统是一种从一组图像中计算相机姿态和结构的方法 [80]，主要分为两种类型，增量式 SfM 和全局式 SfM。然后，使用这些对应关系来估计第二个相机相对于第一个相机的相对姿态。获得两个相机的姿势后，将对一组稀疏的 3D 点进行三角剖分。尽管 RANSAC 框架通常用于估计相对位姿，但一旦对点进行了三角测量，就需要找到并消除异常值。然后通过应用光束法调整来优化双视图场景 [83]。重构初始化后，会依次添加其他视图，即匹配重构中的最后一个视图与新视图的对应关系。

由于在重建的最后一个视图中显示了 3D 点，将立即生成一对具有 2D-3D 对应关系的新视图。因此，新视图的摄像机姿势由绝对姿势决定。场景模型的顺序重建可以是稳健且准确的。然而，随着重复的配准和三角测量过程，累积的误差变得越来越大，这可能导致场景漂移 [84]。此外，重复求解非线性光束法平差会导致运行时效率低下。为了防止这种情况发生，出现了一个全球性的 SfM。在这种方法，计算了输入图像对之间的所有对应关系，因此不需要对输入图像进行排序 [85]。管道通常分三个步骤解决问题。第一步求解通过外极几何图形的所有相对旋转对，并构建一个视图，其顶点代表照相机，其边代表外极几何约束。第二步涉及旋转平均 [86] 和平移平均 [87]，它们分别涉及相机方向和运动。最后一步是光束法调整，旨在最大限度地减少重投影误差并优化场景结构和摄像机姿势。与增量 SfM 相比，全局方法避免了累积误差，效率更高。缺点是它对异常值不可靠。

SfM 已被证明在陆地上具有良好的成像条件，是一种有效的 3D 重建方法 [88]。在水下环境中，使用 SfM 方法进行 3D 重建具有速度快、使用方便、通用性强等特点，但也存在许多局限性和不足。在水下介质中，特征检测和匹配都存在扩散、光照不均匀和阳光闪烁等问题，使得从不同角度检测同一特征变得更加困难。根据相机与 3D 点之间的距离，吸收和散射的分量发生变化，从而改变图片中特定特征的颜色和清晰度。如果从空中拍摄海洋，将会有更多的困难，例如相机折射 [89]。

因此，水下 SfM 必须考虑特殊的水下成像条件。Sedlazeck 等 [90] 针对水下成像环境，提出了对水下图像进行计算分割的方法，以便分割和消除错误的 2D 对应关系。为了消除绿色或蓝色色调，他们使用水下透光的物理模型进行了颜色校正。然后，使用基于图像梯度的 Harris 拐角检测器选择特征，并通过 RANSAC [91] 过程过滤特征匹配后的异常值。该算法本质上是一种适用于特殊成像条件的经典增量 SfM 方法。但是，增量 SfM 可能会受到场景漂移的影响。因此，Pizarro 等 [92] 在机载导航传感器的帮助下，使用局域到全局的 SfM 方法来生成 3D 子图。他们采用改进的 Harris 角探测器作为特征检测器，将描述符作为广义颜色矩，并使用 RANSAC 和已经提出的六点算法在将基本矩阵分解为运动参数后稳定地评估基本矩阵。最后，通过最小化所有被视为内联匹配的重投影错误来优化姿势。

随着水下机器人的发展，一些作者使用 ROV 和 AUV 从多个角度捕捉水下 3D 物体，并使用连续的视频流重建水下 3D 物体。Xu 等 [93] 将 SfM 与对象跟踪策略相结合，试图从连续视频流中探索水下 3D 对象重建的新模型。图 10 显示了他们对水下 3D 物体的 SfM 重建的简要流程图。首先，利用粒子滤波对图像进行滤波，从而获得更清晰的图像进行目标跟踪；他们使用 SIFT 和 RANSAC 来识别和跟踪物体的特征。基于此，提出了一种支持基于 SfM 和基于补丁的多视图立体 （PMVS） 的 3D 点云重建方法。与从水下视频流重建多视图 3D 对象相比，该方案在性能上实现了持续的改进。Chen 等 [94] 提出了一种基于聚类的自适应阈值关键帧提取算法，该算法从视频流中提取关键帧作为 SfM 的图像序列。关键帧作为特征从移动图像序列中提取。他们利用全局 SfM 来创建场景，并提出了一种更快的旋转平均方法，即基于最小修剪平方 （LTS） 和 L1RA 方法的最小修剪平方旋转平均值 （LTS-RA） 方法。这种方法可以减少 19.97% 的时间，与视频流相比，密集的点云将传输成本降低约 70%。
在这里插入图片描述
图 10.基于 SfM 的水下三维物体重建流程图。

此外，由于水、玻璃和空气的密度不同，进入相机外壳的光会引起折射，而进入相机的光会发生两次折射。在 3D 重建中，折射会导致几何变形。因此，在水下必须考虑折射。Sedlazeck 和 Koch [95] 研究了水下立体相机设置的外壳参数校准。基于运动算法开发了折射结构，这是一种使用新的姿态估计方法计算相机路径和 3D 点的系统。此外，他们还引入了用于非线性优化的 Gauss-Helmert 模型 [96]，尤其是光束法平差。迭代优化和非线性优化都在 RANSAC 的框架内使用。使用他们提出的折射，SfM 通过透视相机模型优化了通用 SfM 的结果。典型的 RSfM 重建系统如图 11 所示，其中 j 代表图像数量。首先，检测并匹配两个图像中的特征，然后计算第二个相机相对于第一个相机的相对姿态。接下来，使用 2D-2D 对应关系和照相机姿势执行三角测量。这将找到下一个图像的 2D-3D 对应关系，因此可以计算相对于 3D 点的绝对姿态。在添加新图像并对新点进行三角测量后，对场景使用非线性优化。

在这里插入图片描述
图 11.典型的 RSfM 重建系统。

在 Sedlazeck [90] 的基础上，Kang 等 [97] 提出了两个关于折射相机模型的新想法，即折射椭圆 （EoR） 和场景点的折射深度 （RD）。同时，他们提出了一种新的混合主要化框架来执行双视图水下 SfM。与 Sedlazeck [90] 相比，他们提出的算法允许更常用的相机配置，并且可以有效地减少图片间隙中的重投影误差。在此基础上，他们在 [28] 中为海底已知的旋转结构和运动问题推导出了两个新的表达式。一个提供整体情况的最佳解决方案，另一个对异常值具有鲁棒性。通过将健壮的已知旋转 SfM 引入新的混合专业化框架，进一步拓宽了已知的旋转限制。这意味着它可以同时自动执行水下相机校准和 3D 重建，而无需使用任何校准对象或额外的校准设备，从而显著提高了重建 3D 结构的精度和水下应用系统参数的精度。

Jordt 等 [27] 将折射 SfM 程序和折射平面扫描算法方法结合到一个完整的系统中，通过改进非线性优化，在更大的场景中重建折射。这项研究是第一个向前推进、完成并评估用于深海水平端口相机的未删节的可扩展 3D 重建系统。Parvathi 等 [98] 仅认为跨介质边界的折射会导致几何变化，从而导致图像之间的对应匹配不正确。此方法仅适用于使用水面上方的相机拍摄的照片，不适用于水下相机的照片，除非在玻璃 - 水界面处可能发生折射。因此，他们提出了一个折射重建模型来补偿折射误差，假设光线的偏转发生在相机中心。首先，对校正参数进行建模，然后利用校正模型的坐标估计基本矩阵，构建多视角几何重建。

Chadebecq 等 [99] 从折射几何中推导出了一种新的四视图约束公式，同时提出了一种新的 RSfM 管道。该方法依赖于从广义外极约束派生的折射基本矩阵，与折射 - 重投影约束一起使用，以优化使用具有镜头畸变的自适应针孔模型估计的相对相机姿态的原始估计。在此基础上，他们扩展了 [29] 中的先前工作。利用折射相机模型，给出了折射基矩阵的简明推导和表达式，并在此基础上进一步发展了先前具有固定折射平面的双视图几何的理论推导。

Qiao 等 [100] 提出了一种基于光线追踪的建模方法，用于考虑折射的相机系统。该方法包括相机系统建模、相机外壳校准、相机系统姿态估计和几何重建。他们还提出了一种基于背投误差的相机外壳校准方法，以实现精确建模。基于此，提出了一种基于建模相机系统的相机系统姿态估计方法进行几何重建。最后，使用三角测量获得 3D 重建结果。使用传统的 SfM 方法会导致重建后的建筑物变形，而他们的 RSfM 方法可以有效减少折射率失真并提高最终重建精度。

Ichimaru 等 [101] 提出了一种技术，可以使用扩展波束调整技术来估计统一水下 SfM 的所有未知参数，例如相机和折射界面的变换以及水下场景的形状。在基于优化的重构方法中使用了多种类型的约束，具体取决于捕获设置和初始化过程。此外，由于大多数技术都是在折射界面平面性的假设下进行的，因此他们提出了一种使用软约束来放松这一假设的技术，以便将这种技术应用于自然水面。Jeon 和 Lee [102] 提议使用视觉同步定位和地图构建 （SLAM） 来处理车辆系统的定位和周围环境的映射。使用 SLAM 确定的方向提高了 3D 重建的质量和 SfM 的计算效率，同时增加了点云的数量并缩短了处理时间。

在水下环境中，用于 3D 重建的 SfM 方法因其速度快、使用方便、通用性强而被广泛使用。表 2 列出了不同的 SfM 解决方案。在本文中，我们主要比较了特征点、匹配方法和主要贡献。

表 2.SfM 3D 重建运动解决方案摘要。

ReferencesFeatureMatching MethodContribution
Sedlazeck [ 90 ]CornerKTL Tracker该系统可调整水下摄影环境，包括特定背景和漂浮颗粒过滤，从而实现稀疏三维点集以及可靠的相机位姿估计。
Pizarro [ 92 ]HarrisAffine invariant region作者们提出了一个完整的海底三维重建系统，用于处理从水下航行器获取的光学图像。
Xu [ 93 ]SIFTSIFT and RANSAC对于连续视频流，作者们创建了一种新颖的水下三维物体重建模型。
Chen [ 94 ]KeyframesKNN-match作者们基于 LTS 和 L1RA 方法，提出了一种更快的旋转平均方法 ——LTS - RA 方法。
Jordt-Sedlazeck [ 95 ]—KLT Tracker作者们提出了一种新颖的误差函数，该函数计算速度快，甚至允许对误差函数所需的雅可比矩阵进行解析推导。
Kang [ 28 , 97 ]——在已知旋转的情况下，作者们表明，基于场景点的 EoR 和 RD 这两个新概念，或许可以评估 L∞范数下的最优水下结构光运动（SfM ）。
Jordt [ 27 ]SIFTSIFT and RANSAC这项工作首次提出、构建并评估了一个完整的可扩展三维重建系统，该系统可用于深海平口相机。
Parvathi [ 98 ]SIFTSIFT作者们针对从水面拍摄的水下图像，提出了一种折射重建模型。该系统无需使用专业水下相机。
Chadebecq [ 29 , 99 ]SIFTSIFT作者们制定了一种新的四视图约束，以确保视频中相机位姿的一致性，进而形成了一个新颖的 RSfM 框架。
Qiao [ 100 ]——提出了一种基于光线追踪的相机系统建模方法来对相机系统进行建模。基于反投影误差提出了一种新的相机外壳校准方法，旨在实现精确建模。
Ichimaru [ 101 ]SURFSURF作者们针对几种情况提供了统一的重建方法，包括单台静态相机和移动折射界面、单台移动相机和静态折射界面，以及单台移动相机和移动折射界面。
Jeon [ 102 ]SIFTSIFT作者们利用点云数量、SfM 处理时间、匹配图像数量、总图像数量和平均重投影误差等结果，提出了两个 Aqualoc 数据集，然后建议使用视觉同时定位与地图构建（SLAM）来处理航行器系统的定位和周围环境的建图。

4.2. 光度学立体

光度立体 [103] 是一种常用的光学 3D 重建方法，即使在纹理较弱的区域也具有高分辨率和精细 3D 重建的优势。光度立体场景重建技术需要获取在各种照明情况下拍摄的几张照片，并且通过移动光源的位置，可以检索 3D 信息，同时保持相机和物体的稳定位置。目前，光度立体已在空气条件下进行了充分研究，并且能够生成具有细节的高质量几何数据，但其性能显著由于水下环境的特殊性，包括光散射、折射和能量衰减等现象，它们会降解[104]。

散射效应下水下光度立体的改进已被广泛讨论。在水下环境中，光线明显由于散射效应而衰减，导致背景区域中的照明分布不均匀。这会导致梯度误差，并加剧光度体积中的梯度积分，从而导致高度不准确的累积，从而导致重建表面的变形。因此，Narasimhan 和 Nayar [105] 提出了一种从散射介质中恢复反照率、法线和深度图的方法，得出了被散射介质包围的表面的物理模型。基于这些模型，它们提供了有关光条纹中物体的可检测性条件以及光度立体光度法所需的光源数量的结果。事实证明，这种方法至少需要五张图片。然而，在特殊条件下，四种不同的照明条件就足够了。

Wu L 等 [106] 通过低秩矩阵完成和恢复更好地解决了 3D 重建问题。他们使用 scotoma（水中的阴影和黑色）来适应色散效果的分布，然后从图形中去除色散。由于使用了强大的主成分分析方法 （RPCA） 的反向散射补偿，因此通过消除轻微的噪声、阴影、污染物和一些损坏的点来恢复图像。最后，为了获得表面法线并完成 3D 重建，他们使用了 RPCA 结果和最小二乘结果。图 12 使用四盏灯照亮水下场景。同一场景由不同的光源照亮，以获得用于恢复 3D 信息的图像。这项新技术可用于增强几乎所有的光度立体方法，包括未校准的光度立体。

在这里插入图片描述
图 12. 光度立体装置：采用四盏灯照亮水下景观。同一场景使用不同的光源图像来恢复 3D 信息。

在 [107] 中，Tsiotsios 等人表明，通过有效补偿背向散射分量，只需三个灯就足以使用光度立体的线性公式计算 3D 数据。他们通过为每个像素拟合反向散射模型来补偿反向散射组件。无需事先了解介质或场景的特性，就可以使用点源的反向散射恢复方法直接从单个图像估计不均匀的反向散射。大量实验结果表明，即使在非常明显的散射现象的情况下，与清水的效果相比，最终质量几乎没有降低。然而，就像在时间多路复用结构光技术中一样，光度立体也存在采集时间长的问题。这些方法不适用于移动的对象，并且仅对清水中中的近距离静态对象有效。受 Tsiotsios 提出的方法的启发，Wu Z 等 [108] 提出了一种基于背景区域高度分布的水下光度立体重建高度校正技术。为了适应高度误差，请从重建的高度中减去它，并提供更精确的重建表面，即二维二次曲面函数。实验结果表明该方法在不同浊度的水中的有效性。

Murez 等 [109] 提出了三个贡献，以解决稀释介质的普通单散射假设下光传播的关键模式。首先，大量仿真表明，来自光源的单个散射光可以由具有单一方向的点光源近似。然后，对物体光散射引起的模糊进行建模。最后，证明成像荧光发射（如果可用）可以去除背向散射分量并提高信噪比。他们在具有不同浓度散射介质的水箱中进行了实验。结果表明，通过反卷积生成的 3D 重建质量高于以前的技术，当与荧光结合时，即使对于高度浑浊的介质，也可以产生与清水中相似的结果。

Jiao 等 [110] 提出了一种基于单个 RGBD 图像融合深度和多光谱光度立体视觉的水下目标高分辨率三维表面重建方法。首先，他们使用深度传感器获取带有深度信息的物体的 RGB 图像。然后，通过拟合二元二次函数去除反向散射，并应用简单的线性迭代聚类超像素对 RGB 图像进行分割。基于这些超像素，他们使用多光谱光度立体来计算物体的表面法线。

上述研究集中在水下光度体积中的散射效应上。然而，很少考虑衰减和折射的影响 [111]。在水下环境中，摄像机通常设计在平坦的防水外壳中。从水下物体反射的光在穿过相机前面的平面外壳玻璃时会发生折射，这可能会导致重建不准确。折射不会影响表面法线估计，但在估计目标对象的实际 3D 位置时，它可能会扭曲捕获的图像并导致法向场中的高度积分误差。同时，光衰减限制了光度立体系统的检测范围并降低了精度。研究人员提出了许多在空气中解决这个问题的方法，例如近距离光度立体，它模拟每个像素的光方向和衰减 [112,113]。但是，这些方法不适用于水下环境。

Fan 等 [114] 提出，当成像装置的光源均匀放置在具有相同倾斜角度的圆上时，近光度立体中低频和高变形的主要成分可以用二次函数近似描述。同时，他们提出了一种实用的方法来拟合和消除高度偏差，从而获得比现有方法更好的表面修复方法。它也是水下近距离光度立体的有价值的解决方案。然而，由于相机传感器的光敏不稳定、水下光衰减和低频噪声消除，可能会出现刻度偏差 [115]。

为了解决低频失真、尺度偏差和折射效应等问题，Fan 等人在 [116] 中将水下光度立体测量与水下激光三角测量相结合，以提高水下光度立体测量的性能。基于水下成像模型，建立了水下光度立体模型，利用水下相机折射模型去除非线性折射畸变。同时，他们还提出了一种用于近距离环形光源的光度立体补偿方法。

然而，多个断开连接的补丁之间缺乏约束、经常存在低频失真以及一些实际情况通常会导致在使用直接积分的光度立体重建过程中出现偏差。因此，Li 等 [117] 提出了一种融合方法，利用编码结构光系统生成的深度信息来校正光度立体偏差。这种方法保留了高精度的法线信息，不仅可以恢复高频细节，还可以避免或至少减少低频偏差。水下 3D 重建总结基于光度立体的方法如表 3 所示，主要比较了主要考虑因素及其贡献。

表 3.光度立体 3D 重建解决方案摘要。

ReferencesMajor ProblemContribution
Narasimhan [ 105 ]散射效应推导了浸没在散射介质中表面外观的物理表征，并确定了实现光度立体所需的光源数量。
Wu L [ 106 ]散射效应作者提出了一种有效解决光度立体难题的新方法。该策略通过同时校正其中不正确和缺失的元素，利用强大的凸优化技术，确保找到合适的低秩矩阵。
Tsiotsios [ 107 ]后向散射效应通过有效补偿后向散射分量，作者建立了一个光度立体线性公式，仅用三个光源就能恢复准确的法向图。
Wu Z [ 108 ]梯度误差基于周围区域的高度分布，作者引入了一种用于水下光度立体重建的高度校正技术。使用二维二次函数拟合高度误差，并从重建高度中减去该误差。
Murez [ 109 ]散射效应作者通过深入模拟证明，具有单一方向的点光源可以模拟来自光源的单次散射光。
Jiao [ 110 ]后向散射效应提出了一种新的多光谱光度立体方法。该方法使用简单线性迭代聚类分割来解决多色场景重建问题。
Fan [ 114 ]光照不均匀作者提出了一种后处理技术，以解决不均匀光照带来的发散问题。该过程使用来自物体或平面的校准数据来细化表面轮廓。
Fan [ 116 ]折射效应作者提出将水下光度立体与水下激光三角测量相结合作为一种新方法。它用于克服较大的形状恢复缺陷并提升水下光度立体性能。
Li [ 117 ]多个不相连面片之间缺乏约束为了利用编码结构光系统生成的深度数据校正光度立体像差，提出了一种混合方法。通过恢复高频细节并避免或至少减少低频偏差，该方法保持高精度的法向信息。

4.3. 结构光

结构光系统由彩色（或白光）投影仪和摄像头组成。在这两个组件和投影对象之间，应用了三角剖分概念。根据图 13，如果平面和相机光线都可识别，则投影仪会将识别的图案投射到场景中，通常是光平面的集合。可以使用以下公式计算它们之间的交集。

在数学上，直线可以用参数形式表示为：
[ r （ t ） = { x = v − c x f x t y = v − c y f y t z = t ] [r（t）=\left\{\begin{array}{l}x=\frac{v-c_{x}}{f_{x}} t \\ y=\frac{v-c_{y}}{f_{y}} t \\ z=t\end{array}\right.] [r（t）=⎩ ⎨ ⎧​x=fx​v−cx​​ty=fy​v−cy​​tz=t​]
其中 ( ( f x , f y ) ) ((f_{x}, f_{y})) ((fx​,fy​)) 是相机在 x 轴和 y 轴上的焦距， ( ( c x , c y ) ) ((c_{x}, c_{y})) ((cx​,cy​)) 是图像的中心像素， ( ( u , v ) ) ((u, v)) ((u,v)) 是在图像中检测到的像素之一。假设已校准的

相机和原点相机帧，则光平面可以表示为公式 （5）。

[ π n = A x + B y + C z + D ] [\pi_{n}=A x+B y+C z+D ] [πn​=Ax+By+Cz+D]

在这里插入图片描述
图 13.结构光系统的三角测量几何原理。

将方程 （4） 代入方程 （5） 以获得交集方程 （6）。

[ t = − D A u − c x f y + B v − c y f y + C ] [t=\frac{-D}{A \frac{u-c_{x}}{f_{y}}+B \frac{v-c_{y}}{f_{y}}+C}] [t=Afy​u−cx​​+Bfy​v−cy​​+C−D​]

二进制模式是最常用的，因为它们最容易使用和实现投影仪。在二进制模式下，仅使用场景光条纹的两种状态（通常是白光）。该模式从一种分区开始（黑到白）。前一个模式的细分投影会继续进行，直到软件无法分离两个连续的条带，如图 14 所示。时间多路复用技术处理连续光平面的相关问题。此方法会产生固定数量的光源平面，这些平面通常与投影仪的分辨率相关。timemultiplexing 技术使用由重复模式投影到对象表面生成的码字。因此，在投影所有图案之前，不会完全创建连接到图像中特定位置的码字。根据粗到细的模式，初始投影模式通常与最重要的部分相关。投影的数量直接影响准确性，因为每种模式都会为图像引入更清晰的分辨率。此外，码字基更小，提供了更高的抗噪性[118]。

另一方面，相移模式使用正弦投影在相同的工作模式下覆盖较大的灰度值。通过分解相位值，可以在等效二进制模式下获得状态的不同光平面。相移图也是时间多路复用图。频率多路复用方法提供移动场景的密集重建，但对摄像机非线性高度敏感，从而降低了对目标表面细节的准确性和敏感性。这些方法利用多种投影模式来确定距离。De Bruijn 序列可以使用循环字符串中的伪随机符号序列重建一次。当该理论应用于矩阵而不是向量（例如字符串）时，这些模式被称为 m 数组。它们可以通过遵循伪随机序列来构建[119]。通常，这些图案利用颜色来更好地区分字母表中的符号。然而，并非所有的表面处理和颜色都能准确地将入射色谱反射回相机[120]。

在这里插入图片描述
图 14.二进制结构光模式。点 p 的码字是通过模式的连续投影创建的。

在空气中，形状、空间分布和颜色编码模式已被广泛使用。然而，关于水下场景中的这些编码策略的报道很少。Zhang等[121]提出了一种灰度四阶正弦条纹。此模式采用四种单独的模式作为时间多路复用技术的一部分。他们将结构光 （SL） 与立体视觉 （SV） 进行了比较，SL 在无纹理物品上显示出更好的结果。Törnblom 在 [122] 中将 20 种不同的灰度编码模式投影到一个池上，并得出了相似的结果。该系统在 z 方向上实现了 2% 的精度。MassotCampos等[123]还比较了已知大小和物体的常见水下环境中的SL和SV。结果表明，SV 最适合长距离和高海拔测量，具体取决于是否有足够的纹理，并且 SL 重建可以更好地应用于短距离和低海拔方法，因为需要准确的物体或结构尺寸。

一些作者将 SL 和 SV 两种方法结合起来进行水下 3D 重建。Bruno 等 [25] 投影了具有四个像素宽带末端码移的灰色编码图案。他们使用投影仪来照亮场景，同时从立体声面板获得深度。因此，无需对投影幕布进行镜头校准，并且可以在不牺牲测量可靠性的情况下使用任何出售的投影仪。他们证明，尽管存在很大的散射和吸收效应，但即使在高雾度值下，最终的 3D 重建也能很好地工作。同样，使用这种 SL 和 SV 技术融合的方法，Tang 等 [124] 在水下环境中重建了一个立方体人工礁石 （CTAR），证明水下环境中的 3D 重建质量可用于估计 CTAR 集的大小。

此外，Sarafraz 等人将结构光技术扩展到两相环境的特定实例，其中相机被淹没，投影仪在水面上 [125]。作者采用动态伪随机模式与算法相结合来生成数组，同时保持子窗口的唯一性。他们使用三种颜色（红色、绿色和蓝色）来构建图案，如图 15 所示。放置在水面上的投影仪创造了独特的色彩图案，水下摄像机捕捉了图像。使用这种独特的颜色模式只需要拍摄一次，就可以重建海床和水面。因此，它既可用于动态场景，也可用于静态场景。

在这里插入图片描述
图 15.使用三种颜色（R、G、B）为 3 × 3 个子窗口生成图案。（左）6 × 6 数组的逐步模式生成;（右）生成的 50 × 50 模式的示例。

目前，水下结构光技术越来越受到关注，主要是为了解决纹理不佳的物体和结构的三维重建问题，以及规避在朦胧水域中使用传统光学成像系统的困难。大多数结构光技术假定光既不被分散也不被吸收，并且场景和光源都浸没在纯净的空气中。然而，近年来，结构照明在水下成像中的应用越来越广泛，散射效应不容忽视。

Fox [126] 最初提出使用单个扫描灯带的结构光来减少反向散射并提供 3D 水下物体重建。在这种情况下，应用了立体系统校准的基本知识，将投影仪视为反向相机。Narasimhan 和 Nayar [105] 开发了一个浸没在散射介质中的表面外观的物理模型。为了评估媒体的特性，这些模型描述了结构光如何与场景和媒体交互。然后，可以利用此结果来消除散射效果并确定场景的显示方式。使用从光带形成图像的模型，他们创建了一种简单的算法来准确查找物品。通过将照明区域减少到光的平面，可以拾取远处物体的形状进行三角测量。

提高基于结构光范式的 3D 重建分析性能的另一个关键问题是投影图案的特征。一项实验调查评估了几种投影图案和图像增强方法在不同浊度条件下检测的有效性，结果显示，随着浊度的增加，条纹的对比度损失大于点状 [127]。因此，Wang 等 [128] 提出了一种非单视点（SVP）光线追踪模型，用于校准投影仪相机系统，用于 3D 重建，该模型以结构光范式为前提，以点图案为基础。从稀疏点模式投影重建粗略的深度图，并使用表面点的色域对更密集的模式图像进行纹理处理，以改进点检测，从而估计更精细的表面重建。根据介质、光学特性和投影仪摄像机的几何形状，他们估计了反向散射的大小，并针对信号衰减进行了调整，以去除特定投影仪模式的图片。

Massone 等 [129] 提出了一种依赖于光模式投影的方法，使用简单的锥形潜水灯作为投影仪。使用他们开发的光剖面检测方法提取的闭合 2D 曲线恢复图像。他们还创建了一种新的校准方法来确定相对于相机的锥体几何形状。因此，可以通过获得固定的投影仪 - 相机对来实现投影模式和恢复模式之间的匹配。最后，通过将派生的闭合 2D 曲线和相机圆锥关系置于上下文中来恢复 3D 数据。

表 4 列出了水下 SL 3D 重建方法，主要比较了颜色、投影仪图案及其主要贡献。

ReferencesColorPatternContribution
Zhang [ 121 ]Grayscale正弦条纹提出了一种利用相位跟踪和光线追踪技术计算水下物体三维几何形状的有效方法。
Törnblom [ 122 ]White二值图案作者构建并开发了一种基于结构光的水下三维扫描仪，并对基于立体扫描和线扫描激光的扫描仪进行了比较。
Massot-Campos [ 123 ]Green割草机图案在典型的已知尺寸和物体的水下环境中，对立体视觉（SV）和结构光（SL）进行了对比。研究结果表明，基于立体视觉的重建最适合长距离、高海拔的测量，但始终依赖于充足的纹理和光照；而结构光重建更适用于需要精确获取物体或结构尺寸的短距离测量。
Bruno [ 25 ]White二值图案利用一种新的结构光三维成像方法，可以同时估计水面的几何形状和水下物体的几何形状。该技术只需一张图像，因此可用于静态和动态场景。
Sarafraz [ 125 ]Red, Green, Blue伪随机图案开发了一种新的结构光三维成像方法，该方法可以同时估计水面的几何形状和水下物体的几何形状。该方法只需一张图像，因此可应用于动态和静态场景。
Fox [ 126 ]White光图案最初提出使用单条扫描光带的结构光方法来对抗后向散射，并实现水下物体的三维重建。
Narasimhan [ 105 ]White光平面扫描全面分析了两种代表性方法，即光条纹距离扫描法和光散射立体视觉法。还推导了浸没在散射介质中表面外观的物理模型。
Wang [ 128 ]multiple colors彩色点图案基于所提出的非单视点（non - SVP）模型对投影仪 - 相机模型进行校准，以表示投影几何关系。此外，作者提供了一个多分辨率物体重建框架，该框架利用具有不同间距的投影点图案，以在各种浑浊度情况下进行图案识别。
Massone [ 129 ]—光图案作者提出了一种新的结构光方法，该方法基于将光图案投影到相机拍摄的场景上。他们使用一个简单的锥形水下灯作为光投影仪，并创建了一种特定的校准方法来估计相对于相机的锥体几何形状。

4.4. 立体视觉

立体成像的工作方式与 SfM 相同，使用立体相机的左右帧之间的特征匹配来计算 3D 对应关系。立体声系统已经校准之后，确定了一台摄像机相对于另一台摄像机的相对位置，从而解决了尺度模糊的问题。最早的立体匹配技术是在摄影测量领域开发的。立体匹配在计算机视觉中得到了广泛的研究[130]，并且仍然是最活跃的研究领域之一。

假设有两个摄像头 ( C L ) (C_{L}) (CL​) 和 ( C R ) (C_{R}) (CR​)，每个摄像头图像都有两个相似的特征 F L F_{L} FL​ 和 F R F_{R} FR​，如图 16 所示。为了计算投影在 C L C_{L} CL​ 上的特征 F 的三维坐标为 F L F_{L} FL​ 和投影在 C R C_{R} CR​ 上的坐标为 F R F_{R} FR​，线 F R F_{R} FR​ 与 F R F_{R} FR​ 焦点相交，并且追踪了 F R F_{R} FR​ 和与 C R C_{R} CR​ 焦点相交的线 L R L_{R} LR​ 和 F R F_{R} FR​。如果两个相机的校准都完美无缺，那么 F = L L ∩ L R F=L_{L} \cap L_{R} F=LL​∩LR​ .但是，最小二乘法通常用于解决照相机校准问题，因此结果并不总是准确的。因此，将近似解作为 L L L_{L} LL​ 和 L R L_{R} LR​ [131] 之间的最接近点。

在这里插入图片描述
图 16.立体系统的三角测量几何原理。

在确定了相机的相对位置和同一特征在两张图像中的位置后，可以通过三角测量计算该特征在世界上的 3D 坐标。在图 16 中，图像坐标 x = ( u L , v L ) x=(u_{L}, v_{L}) x=(uL​,vL​) ，对应的 3D 点 x ′ = ( u R , v R ) x'=(u_{R}, v_{R}) x′=(uR​,vR​) 是点 p = ( x w , y w , z w ) p=(x^{w}, y^{w}, z^{w}) p=(xw,yw,zw) ，也可以写成 x ′ F x = 0 x' F x=0 x′Fx=0 ，其中 F 是基矩阵 [131]。

校准相机后（基线、相对相机姿态和未失真的图像已知），可以通过计算每个像素的发散度来生成 3D 成像。收集这些 3D 数据，并使用其他 3D 配准技术在连续帧和迭代最近点 （ICP） 之间进行配准 [132]。SIFT、SURF 和绝对差值之和 （SAD） [133] 是最常用的方法，SIFT 或 ICP 也可用于直接 3D 匹配。

计算机视觉为从 2D 图像构建环境的 3D 模型提供了很有前途的技术，但由于光线通过多种介质的折射，水下环境的径向变形会增加。因此，水下相机校准问题在立体视觉系统中非常重要。Rahman等[134]研究了地面和水下相机校准之间的差异，定量确定了水下环境原位校准的必要性。他们使用了两种校准算法，即Rahman-Krouglicof [135]和Heikkila [136]算法来校准水下SV系统。从重建误差的角度评估了两种校准算法的立体能力，实验数据证实了 Rahman–Krouglicof 算法能够很好地解决水下三维重建的特点。Oleari等[137]提出了一种用于SV系统的相机校准方法，无需复杂的水下过程。这是一种两阶段校准方法，其中在初始阶段进行空气标准校准。在接下来的阶段中，利用有关水下圆柱形管道尺寸的先前数据，调整相机的设置。邓等[138]提出了一种用于水下立体匹配的双目相机航空校准方法。他们研究了相机的成像机制，推断了相机在空中和水下的联系，并使用在空气中校准的相机参数进行了水下立体匹配实验，结果表明了该方法的有效性。

SLAM 是最准确的定位方法，使用安装在水下航行器上的导航传感器提供的数据 [139]。为了提供更好的重建，立体 SLAM 的快速发展也被应用于水下。这些方法利用立体相机生成深度图，可用于非常详细地重建环境。Bonin-Font 等 [140] 比较了两种不同的基于立体视觉的 SLAM 方法，即 graph-SLAM 和 EKF SLAM，用于在水下生态系统中实时定位移动的 AUV。两种方法都仅使用 3D 模型。他们在可控水景和海洋中进行了实验，结果表明，在相同的工作和环境条件下，graph-SLAM 方法优于 EKF 对应方法。基于全球化框架的 SLAM 位姿估计，采用累积误差小的匹配方法，从放置在相应 SLAM 位置的连续立体视觉点云 [141] 的组合中重建周围区域的虚拟三维地图。

水下体积 SLAM 的主要问题之一是容器内部的空气与外部的水之间的折射界面。如果不考虑折射，则可能会严重扭曲单个照相机图像和作为立体对应结果计算的深度。这些错误可能会加剧并导致最终设计中出现更严重的错误。Servos 等 [142] 通过校正折射引起的图像失真，生成了密集的、几何精确的水下环境重建。他们使用校准图像离线计算相机和外壳的折射模型，并生成非线性极曲线以进行立体匹配。使用 SAD 块匹配算法，通过沿参考图像中每个像素的外极曲线执行此 1D 优化来创建立体视差图。然后，通过折射 接口利用像素光线追踪来确定每对相应像素的深度，从而定位左右图像光线的交界处。他们使用 ICP 直接配准生成的点云。最后，采用深度图进行密集的 SLAM 并生成周围环境的 3D 模型。SLAM 算法将光线追踪与折射校正相结合，以提高地图精度。

水下环境比陆地环境更具挑战性，直接在水下应用标准的 3D 重建方法会导致最终效果不尽如人意。因此，水下 3D 重建需要准确完整的相机轨迹作为详细 3D 重建的基础。高精度稀疏 3D 重建决定了后续密集重建算法的效果。Beall 等 [24] 使用立体图像对，检测显著特征，计算 3D 位置并预测相机姿态的轨迹。使用通过宽基线立体设置获取的同步高清视频，从左右图像对中提取 SURF 特征。轨迹与 3D 特征点一起使用作为初步估计，并通过对平滑和映射的反馈进行优化。之后，在使用 Delaunay 三角测量对 3D 点进行三角测量后，将网格与图像进行纹理映射。该设备被用于重建巴哈马的珊瑚礁。

Nurtantio 等 [143] 使用具有多个视图的摄像系统来收集线性样带的海底镜头。从视频剪辑中手动提取影像对后，SIFT 方法会自动从立体像对中提取相关点。基于生成的点云，使用 Delaunay 三角测量算法处理 3D 点的总和，以生成表面重建。该方法稳健，水下图像匹配准确率达到 87% 以上。但是，他们从视频剪辑中手动提取图像对，然后对图像进行预处理。

Wu 等 [144] 改进了密集视差图，他们的立体匹配算法包括视差值搜索、每像素成本计算、差异累积积分计算、窗口统计计算和子像素插值。在快速立体匹配算法中，采用生物视觉一致性检查和唯一性验证策略来检测水下视觉系统的遮挡和不可靠匹配，并消除伪匹配。同时，他们构建了一张视差图，即海洋 SV 的相对深度数据，以完成三维表面模型。通过图像质量增强结合同态滤波和小波分解对其进行进一步调整。

Zheng 等 [145] 基于 Zhang 的相机校准方法 [146] 提出了一种非均匀照明下的水下双目 SV 系统。对于立体匹配，根据对 SIFT 图像匹配技术的研究，他们采用了一种新的匹配方法，该方法结合了特征匹配和区域匹配以及边缘特征和角落特征。该方法可以减少匹配时间，提高匹配精度。采用最小二乘法求解的三维坐标投影变换矩阵，精确计算水下场景中各点的三维坐标。

Huo 等 [147] 通过严格限制对象有效区域内的匹配过程，改善了半全局立体匹配方法。首先，对系统视觉获得的图像序列进行去噪和色彩恢复，并使用超像素分割方法将淹没物体分成几段并根据图像的显著性进行检索。然后使用最小二乘拟合插值方法优化每个超像素区域内的基视差图，以减少失配。最后，在后优化视差图的基础上，利用三角测量原理计算目标的三维数据。实验室结果表明，对于特定尺寸的水下目标，该系统在适当距离内能够获得较高的测量精度和良好的三维重建结果。

Wang 等 [148] 使用最先进的硬件开发了一种用于水下 3D 重建的水下立体视觉系统。使用 Zhang 的棋盘校准方法，相机的固有参数受到角特征和单纯形矩阵的限制。然后，采用三原色校准方法对图像的颜色信息进行校正和恢复；实验室结果证明，该系统可以矫正立体视觉的水下畸变，可以有效地进行水下三维重建。表 5 列出了水下 SV 三维重建方法，主要比较了文章的特点、特征匹配方法和主要贡献。

表 5.SV 3D 重建解决方案摘要。

参考文献特征匹配方法贡献
Rahman [134]--作者研究了陆地和水下相机校准的差异，并提出了一种水下立体视觉系统的校准方法。
Oleari [137]-SAD（序贯相似性检测）本文概述了一种用于水下自主航行器（AUV）的硬件配置，该配置用于检测和定位水下物体，以实现协作物体运输任务。
Bonin - Font [140]-SLAM（同步定位与建图）作者比较了两种应用于移动机器人的经典视觉SLAM技术的性能：一种基于扩展卡尔曼滤波（EKF），另一种基于使用光束平差法的图优化。
Serovs [142]-ICP（迭代最近点）本文提出了一种水下立体定位和映射方法。该方法通过校正与折射相关的视觉畸变，可精确重建水下环境。
Beall [24]SURF（加速稳健特征）SURF和SAM（平滑与映射）提出了一种水下结构的大规模稀疏重建方法。这种全新的方法使用立体图像对来识别显著特征、计算三维点并估计相机姿态轨迹。
Nurtantio [143]SIFT（尺度不变特征变换）SIFT本文提出了一种低成本的多视图相机系统，配备了立体相机。从立体相机中获取一对立体图像。
Wu [144]--作者开发了水下三维重建模型并提高了环境质量，加深了对立体视觉（SV）系统的理解。
Zheng [145]边缘和角点SIFT作者提出了一种基于双目SV的非均匀照明下放置水下三维目标的方法。非均匀光场的后向散射可有效降低，并且该系统可以精确测量目标距离和宽度。
Huo [147]-SGM（半全局匹配）提出了一种基于双目视觉的水下物体识别和三维重建系统。该系统的视觉部分使用了两个光学传感器。
Wang [148]角点SLAM本文的主要贡献是创建了一种新的水下立体视觉系统，用于AUV的SLAM、操作、测量及其他海洋应用。

4.5. 水下摄影测量

从相机在水下环境中的使用，出现了水下摄影测量的子学科。摄影测量被确定为一种具有竞争力且敏捷的水下 3D 测量和建模方法，它可以在不同深度和广泛的应用领域产生令人难忘且有价值的结果。通常，任何使用照片（例如基于成像的方法）获取测量数据的实际 3D 重建方法都是摄影测量方法。摄影测量包括通常与其他科学领域共享的图像测量和解释方法，用于从一组照片中得出物体或目标的形状和位置。因此，运动结构和立体视觉等技术属于摄影测量和计算机视觉领域。

摄影测量在水下环境中非常灵活。在浅水区，潜水员使用摄影测量系统绘制拱形地质遗址的地图，监测动物种群并调查沉船。在深水中，带有可变数量相机的 ROV 增加了水下检查的深度范围。描绘位置和物体真实状况的照片集合是摄影测量的一个重要附加值与其他测量方法相比。在摄影测量中，通常将相机放置在大视场中，以观察远程校准目标，其精确位置是使用测量仪器预先计算的。根据相机位置和物体距离，摄影测量应用可分为各种类别。例如，航空摄影测量通常在300 m的高度进行测量[149]。

图像质量主题对于摄影测量至关重要。相机校准是本主题涵盖的关键主题之一。如果需要完美的公制精度，则必须使用上述预先校准的相机技术，并带有地面控制点进行重建[150]。Abdo等[151]认为，可用于水下的复杂生物物品的摄影测量系统必须（1）能够在狭窄区域内工作;（2） 提供对原地高效数据的轻松访问;（3） 提供易于实施、准确且可在相当长的时间内完成的调查程序。

Menna等[152]提出了一种通过摄影测量对浮动和半水下目标进行3D测量的方法（如图17所示）海平面以下和海拔以上两倍，并且可以在同一坐标系内直接进行比较。在测量过程中，他们将特殊设备连接到物体上，带有两块板，一块在海平面以上，一块在海平面以下。摄影测量在每种介质中进行了两次，一次用于水下部分，另一次用于水面。然后，通过密集的图像匹配程序实现数字 3D 模型。此外，在 [153] 中，作者首次在水下计量调查的特定背景下，使用水下环境的高精度地面实况和经过验证的基于摄影测量的成像系统，对基于视觉的 SLAM 算法进行了评估。使用完成的水下摄影测量系统 ORUS 3D® 进行了精度评估。该系统使用 COMEX 设施中经过认证的 3D 水下参考测试场，其坐标精度可以达到亚毫米级。

在这里插入图片描述
图 17. 水下半漂浮物体的剖面图。

Zhukovsky 等 [154] 介绍了在 Phanagorian 沉船的水下挖掘过程中使用考古摄影测量方法进行现场记录的实例。讨论了所采用的自动点云提取方法的好处和潜在的水下局限性。同时，他们全面介绍了挖掘现场应用的摄影测量的实际工作流程：照片采集过程和控制点测量。最后，提供了沉船的三维模型，总结了用于考古记录的自动点云提取算法的发展前景。

Nornes 等 [155] 提出了一种基于 ROV 的水下摄影测量系统，表明仅使用低分辨率的 canera（140 万像素）和 ROV 导航数据就可以生成具有地理参考的精确 3D 模型，从而提高勘探效率。许多照片曝光不足，有些照片由于没有自动目标距离控制而曝光过度。为了弥补这一点，GIMP 2.8（一个开源图像处理程序）中的自动白平衡功能被用来对图片进行色彩校正。使用此命令，可以通过单独扩展其红色、绿色和蓝色通道来自动更改图像的颜色。在记录图像的时间戳和导航数据后，他们使用 MATLAB 计算相机位置。研究结果强调了通过消除对试点的依赖可以做出的未来改进，这不仅是为了数据质量，也是为了进一步减少调查所需的资源。

Guo et al. [156] 比较了由水下外壳相机和流行的 GoPro 相机获得的图像生成的 3D 点云的准确性。当他们在现场校准摄像机时，他们发现 GoPro 摄像机系统存在很大差异无论是在空中还是在水下。他们的 3D 模型是使用空中的 Lumix 相机确定的，并将这些模型与水下单个物体的点云进行比较（最佳值），进一步用于检查点云生成的精度。提供水下摄影测量方案，检测珊瑚礁的生长情况，详细记录生态系统的变化，精度为 mm。

Balletti 等 [157] 使用三边法（直接测量法）和 GPS RTK 测量来测量地形。根据海底大理石物体的特征、深度和分布，利用两个 3D 多边形纹理模型分析和重建不同的情况。在文章中，他们介绍了设计、采集和准备的所有步骤，以及最终的数据处理。

5 声学图像方法

目前，基于水下光学图像的三维重建技术已经非常成熟。然而，由于水下环境的复杂性和多样性以及水下传播中光波能量的快速衰减，基于光学图像的水下三维重建往往难以满足实际情况的应用需求。声波在水中传播具有损耗低、衍射能力强、传播距离长、受水质条件影响小等特点。在复杂的水下环境和无光源的深水中具有较好的成像效果。因此，基于声呐图像的水下三维重建具有良好的研究前景。然而，声呐也存在分辨率低、数据提取困难和无法提供准确颜色信息的缺点。因此，利用光学和声纳传感器的互补性，研究数据的组合是水下 3D 重建的一个有前途的新兴领域。因此，本节回顾了基于声学和光声融合的基于声纳的水下 3D 重建技术。

5.1. 声纳

Sonar 代表声音导航和测距。声纳是研究水下环境的不错选择，因为它没有考虑亮度的环境依赖性，也忽略了水的浑浊度。声纳主要分为两类：主动和被动。无源声纳系统的传感器不用于 3D 重建，因此本文不对其进行研究。

主动声纳产生声音脉冲，然后监测脉冲的反射。脉冲的频率可以是恒定的，也可以是可变频率的啁啾。如果存在啁啾，接收器会将反射频率与已知信号相关联。一般来说，远程主动声纳使用较低的频率（数百赫兹），而短距离高分辨率声纳使用较高的频率（几兆赫兹）。在主动声纳类别中，多波束声纳 （MBS）、单波束声纳 （SBS） 和侧扫声纳 （SSS） 是三种最重要的类型。如果交叉航迹角度非常大，则通常称为成像声纳 （IS）。否则，它们将被定义为剖面声纳，因为它们主要用于组合深海探测数据。此外，这些声纳可以机械作进行扫描，并且可以拖曳或安装在船只或水下船只上。声音在水中传播的速度比在空气中传播得更快，尽管其速度也取决于水的温度和盐度 [158]。声呐深度探测的远程探测能力使其成为一种重要的水下深度测量技术，可以从水面甚至数千米深的船只收集深度数据。在近距离，分辨率可以达到几厘米。然而，在几公里的远距离上，分辨率相对较低，通常在几十厘米到几米之间。

深海探测数据收集最常用于 MBS。传感器可以与彩色相机相关联，以获取 3D 信息和颜色信息。但是，在这种情况下，它被缩小到可见范围。MBS 也可以安装在倾斜系统上，以进行全 3D 扫描。它们通常安装在三脚架或 ROV 上，并且在扫描过程中需要保持静止。Pathak 等 [159] 使用 Tritech Eclipse 声呐（一种具有延迟波束形成和电子波束控制功能的 MBS）在 18 次扫描后生成最终的 3D 图。在距离图像扫描中增长的区域的基础上，从原始点云中提取平面。然后对平面参数进行最小二乘估计，并计算平面参数的协方差。将平面拟合到声纳数据上，随后的配准方法最大限度地提高了搜索空间中的整个几何均匀性，以确定平面之间的对应关系。然后，采用平面配准法，即最小不确定度最大一致性 （MUMC） [160] 来确定平面之间的对应关系。

SBS 是一种二维机械扫描声纳，可以通过旋转头部进行 3D 扫描，就像安装在平移和倾斜头上的一维测距传感器一样。数据检索不如 MBS 快，但便宜且体积小。Guo et al. [161] 使用单波束声纳 （SBS） 重建了实验池的 3D 水下地形。他们使用开源 3D 建模和动画软件 Blender 作为他们的建模平台。声纳沿直线获取水下环境的 2D 切片，然后将这些 2D 切片组合起来创建 3D 点云。然后，使用半径异常值去除滤波器、条件去除滤波器和体素网格滤波器对三维点云进行平滑处理。最后，基于处理后的 3D 点云，采用叠加法构建水下模型。

剖面分析也可以使用 SSS 完成，SSS 通常被拉动或安装在 AUV 上进行网格测量。SSS 能够理解海底材料和纹理类型的差异，使其成为检测水下物体的有效工具。为了准确区分水下目标，基于 SSS 图像的 3D 成像概念已被提出 [162,163]，并且在沉船可视化、管道跟踪和矿山搜索等活动中变得越来越重要。虽然 SSS 系统不提供直接的 3D 可视化，但它们生成的图像可以通过算法使用灰度图像中包含的回波强度信息转换为 3D 表示 [164]。多波束系统价格昂贵且需要强大的传感器平台，而 SSS 系统相对便宜且易于部署，并提供更广的区域覆盖范围。

Wang等[165]使用SSS图像重建了水下物体的3D形状。他们将声呐图像分割为三种类型的区域：回声、阴影和背景。他们评估了来自回波的 2D 强度图，并根据阴影数据计算了 2D 深度图。通过对原始图像进行阈值处理、去噪并生成伪彩色图像来获得 2D 强度图。杂色减少使用阶次统计滤镜来去除椒盐杂色。对于稍大的点，他们使用 bwareaopen 函数删除了所有小于指定区域大小的链接像素。应用直方图均衡来区分阴影和背景，然后从阴影信息中获得深度图。SSS 的几何结构如图 18 所示。通过简单的几何推导，物体在海床上方的高度可以通过使用方程 （7） 来计算：

[ H t = L s ⋅ H s L s + L t + R s 2 − H s 2 ( 7 ) ] [H_{t}=\frac{L_{s} \cdot H_{s}}{L_{s}+L_{t}+\sqrt{R_{s}^{2}-H_{s}^{2}}} (7)] [Ht​=Ls​+Lt​+Rs2​−Hs2​ ​Ls​⋅Hs​​(7)]

对于后面有阴影的区域，这些区域的高度可以直接用公式 （8） 计算：

[ L s = X j − X i ( 8 ) ] [L_{s}=X_{j}-X_{i} (8)] [Ls​=Xj​−Xi​(8)]

然后，对模型进行变换，最后重建二维强度图和二维深度图，生成水下目标的三维点云图像进行三维重建。
在这里插入图片描述
图 18. 侧扫声纳几何结构。

以上三种声纳在水下三维重建中很少使用，而 IS 是目前应用最广泛的。IS 与 MBS 或 SBS 之间的区别在于波束角变得更宽（它们捕获海底的声学图像而不是薄片）。Brahim 等 [166] 利用声学相机从不同角度获得的同一场景的两张照片重建了水下环境。他们使用 DIDSON 声学相机提供一系列 2D 图像，其中场景中的每个像素都包含位于相同距离和方位角的反向散射能量。他们提出，通过了解从不同视点获得的多张图像上观察到的矩形网格的几何形状，可以推断出图像失真并补偿声学相机的几何偏差。此过程取决于最小化理想模型（使用理想相机模型投影的网格）与其在记录图像中的表示之间的散度。然后，应用协方差矩阵自适应进化策略算法，从一对图像中提炼出的每个匹配点的缺失估计数据中重建三维场景。

声学图像中的对象阴影也可用于恢复 3D 数据。Song 等 [167] 使用 2D 多波束成像声呐对水下结构进行 3D 重建。成像声纳发射器产生的声压波在水下系统表面传播和反射，这些反射的回波被 2D 成像声纳收集。图 19 是收集的声纳图像，其中每个像素显示相同距离处点的反射强度，而不显示海拔信息。他们通过分析反射的声呐强度模式，在连续声呐图像中找到了目标阴影对。然后，他们使用 Lambert 反射定律和阴影长度计算了仰角信息和仰角信息。基于此，他们在 [168] 中提出了一种三维重建算法，通过恢复声呐图像中缺失的表面高程，将声呐图像的二维像素坐标转换为相应的场景表面三维空间坐标，从而实现水下场景的三维可视化，可用于使用 ROV 进行海洋生物勘探。该算法根据海底的强度值对像素进行分类，对图像中的物体和阴影进行划分，然后根据强度值计算物体像素的表面高程，得到高程校正代理。最后，利用从图像平面到海床的坐标变换，使用恢复的表面高程值。实验结果表明，所提算法能够成功重建参考目标表面，目标尺寸误差小于10%，在海洋生物勘探中具有一定的适用性。

在这里插入图片描述
图 19. 声纳图像 [167]。

机械扫描成像声纳 （MSIS） 已被广泛用于检测障碍物和感知水下环境，通过发射超声波脉冲来扫描环境并提供扫描范围内的回波强度分布。然而，很少有研究使用 MSIS 进行水下测绘或场景重建。Kwon 等 [169] 利用 MSIS 波束成形模型生成了 3D 点云。他们提出了一个概率模型来确定点云对特定光束的占用可能性。然而，MSIS 结果不可靠且混乱。为了克服此限制，应用了一个校正强度的程序，该程序随距离的增加而增加回波的音量。然后，将特定阈值应用于信号的特定范围，以消除由传感器外壳和释放的声脉冲之间的相互作用引起的伪影。最后，利用基于 octree 的数据库架构来有效地创建地图。Justo 等 [170] 使用 MSIS 声呐获得了代表扫描表面的点云。他们使用截止滤波器和调整滤波器来去除噪声和异常值。然后，使用经典的 Delaunay 三角测量将点云变换到表面上，从而实现 3D 表面重建。该方法旨在应用于水下冰川融化的研究。

大孔径传感器的空间足迹大，可以实时对大量水进行成像。然而，更大的孔径会导致更复杂的图像模型变得模糊，从而降低空间分辨率。为了解决这个问题，Guerneve et al. [171] 提出了两种重建方法。他们首先提出了一个宏伟的线性方程作为具有空间变化的盲反卷积的内核。下一种技术是借助雕刻算法的非线性近似的简单近似重建算法。使用简单的近似算法，可以立即从大孔径系统的数据记录中执行三维重建。如图 20 所示，雕刻算法在线实现的三个主要步骤如下：执行声纳图像从 2D 到 3D 的圆形延伸，其强度基于波束布置的比例。随着新的观察，场景的 3D 地图随后会更新，最终覆盖整个场景。为了构建最终地图，最后一步是纵遮挡分辨率，同时仅保留所查看场景的前表面。他们提出的方法有效地消除了嵌入多个具有不同孔径的声学传感器的需要。
在这里插入图片描述
图 20. 基于成像声呐的在线雕刻算法流程图.

一些作者提出了同构融合的方法，即多声呐融合。大孔径前视多波束成像声呐提供广泛的视野和从各种角度收集图像的灵活性。然而，成像声纳的特点是信噪比高且观测次数有限，以观察到的 3D 区域的平面形式提供 2D 图像，并导致缺乏可能影响 3D 重建结果的仰角测量。McConnell 等 [172] 提出了一种顺序方法，利用两个声呐系统之间的传感器融合来提取 3D 信息，以解决与前视多波束成像声呐观测相关的仰角模糊问题。使用一对具有正交不确定性轴的声纳，他们从两个不同的角度独立地注意到环境中的同一点。强度的范围、强度和局部平均值被用作特征描述符。他们利用这些并发观测在每个时期创建了一个密集的、完全定义的点云。然后使用 ICP 对点云进行配准。同样，从前视多波束声呐图像进行 3D 重建会导致俯仰角的损失。

Joe 等 [173] 使用一个额外的声纳，通过利用两个已安装的声纳之间的几何约束和互补特性来重建缺失的信息设备。他们提出的聚变方法分为三个层次。第一步是利用两个声纳装置的几何限制创建可能性图。下一步是为前视多波束声纳 （FLMS） 创建可行的仰角。第三阶段通过使用蒙特卡洛随机方法计算生成粒子的权重来校正 FLMS 数据。该技术可以轻松重建海底的 3D 信息，而无需额外修改轨迹，并且可以与 SLAM 框架结合使用。

于创建 3D 点云的成像声纳方法存在缺陷，例如锋面不可接受的斜率、数据稀疏、缺少侧面和背面信息。为了解决这些问题，Kim et al. [174] 提出了一种多视图扫描方法来取代单视图扫描方法。他们应用聚光灯扩展影响来获取水下目标的 3D 数据。利用这种情况，可以在声呐图像中重建给定区域的仰角细节并生成 3D 点云。之后处理 3D 点云信息以选择合适的后续扫描过程，即增加光束反射的大小及其与前一条路径的正交性。

标准网格搜索会生成无数的无效三角形面，并且会生成许多孔洞。因此，Li 等 [175] 使用自适应阈值搜索非空声纳信息点，首先在 2×2 个网格块中搜索，然后以空位为中心搜索 3×3 个网格块，以增加声纳图像孔。然后，该程序在声纳阵列中搜索 3 × 2 个水平网格块和 2 × 3 个垂直网格块，通过发现半对角线互连来进一步改善连接关系。随后，利用发现的声纳数据点连接，进行了三角形连接和重建。

为了估计声学相机的精确姿态并以类似的方式测量水下目标关键元件的三维位置，Mai 等 [176] 提出了一种基于扩展卡尔曼滤波（EKF）的技术，其概述如图 21 所示。图 22 显示了基于多个声学视点的建议方法的概念图。关于输入数据，声学摄像机的图像序列和摄像机运动输入数据被合并。采用 EKF 算法估计水下物体骨骼特征元件的三维位置和作为输出信息的六自由度声学相机的位姿。通过使用基于概率 EKF 的方法，即使相机运动的控制输入存在歧义，仍然可以重建水下物体的 3D 模型。然而，这项研究是建立在基本特征因素之上的。对于低级要素，由于要素之间的不可区分性，要素匹配过程通常会失败，从而导致 3D 重建的精度降低。对于特征点组合和挖掘，它取决于对已识别特征的事先了解，然后对声像特征进行手动采样。

因此，为了解决这个问题，在 [177] 中，他们使用线段而不是点作为地标。使用代表声纳传感器的声学相机来提取和跟踪水下物体线，这些线在图像处理方法中用作视觉特征。在重建结构化水下环境时，线段优于点要素，可以更有效地表示结构信息。在确定声学相机的姿态时，他们继续使用基于 EKF 的方法来获取从水下物体中提取的 3D 线特征。他们还开发了一种自动线特征提取和相应的匹配方法。首先，他们根据感兴趣的区域选择分析范围。接下来，使用双边滤波器提高线特征提取的可靠性以降低噪声。通过使用双边滤镜，平滑的图像保留了边缘。然后，使用 Canny 边缘检测提取图像的侧面。边缘检测完成后，使用概率 Hough 变换 [178] 提取线段端点，以提高可靠性。

在这里插入图片描述
图 21.扩展卡尔曼滤波算法概述。
在这里插入图片描述

图 22.使用声学相机从多个视点观察水下物体。

声波因其损耗小、衍射能力强、传播距离长、受水质影响小等特点而被广泛应用于水下三维重建中，并且发展迅速。表 6 比较了使用声纳的水下 3D 重建，主要列出了声纳类型和文章的主要贡献。
表 6.3D 重建声呐解决方案摘要。

参考文献声纳类型贡献
Pathak [159]多波束声纳（MBS）提出了一种基于面片的实际水下场景三维建图方法。该方法基于声纳数据的六自由度配准。
Guo [161]单波束声纳（SBS）作者使用SBS重现了实验水池的水下三维地形。基于已处理的三维点云，提出了一种构建水下模型的方法。该方法基于这样一个事实：当一块塑料桌布覆盖在桌子上时，它会呈现出桌子的形状。
Wang [166]侧扫声纳（SSS）作者提出了一种从SSS图像重建水下三维特征的方法。声纳图像被分为三个区域：回波区、阴影区和背景区。根据回波估计二维强度图，根据阴影信息计算深度图。利用变换模型，将这两个图结合以获得水下物体的三维点云图像。
Braham [166]成像声纳（IS）本文提出了一种利用从不同视角拍摄的同一场景的两个声学相机照片来重建水下环境的技术。
Song [167, 168]成像声纳（IS）提出了一种使用二维多波束成像声纳进行三维重建的方法。利用声纳图像与场景地形之间的物理关系来定位高程信息，以解决声纳图像中高程信息缺失的问题。
Kwon [169]成像声纳（IS）提出了一种使用宽波束成像声纳的三维重建方案。使用了八叉树结构的占用网格，并构建了一个考虑传感特性的传感器模型用于重建。
Justo [170]多静态成像声纳（MSIS）通过所提供的系统，利用MSIS可以估计水下表面的空间变化，从而进行三维重建。
Guerneve [171]成像声纳（IS）为实现任意孔径成像声纳的三维重建，提出了两种重建技术。第一种使用盲反卷积和空间可变核，为该问题提供了一种简洁的线性解决方案。第二种使用非线性公式和一种简单的算法来进行近似重建。
McConnell [172]成像声纳（IS）本文提出了一种新方法，用于解决前向多波束成像声纳观测中的高度模糊问题，同时也解决了实现三维重建的相关难题。
Joe [173]前向线性多静态声纳（FLMS）提出了一种通过传感器融合两个声纳设备来提取用于建图的三维数据的顺序方法。该方法利用了几何约束以及声纳设备之间的互补特征，例如不同的声束角度和数据采集方式。
Kim [174]成像声纳（IS）作者提出了一种多视图扫描方法，该方法可以选择具有最大反射区域的单位向量和路径，使波束与先前路径正交，从而有效地执行多次扫描并节省时间。
Li [175]成像声纳（IS）提出了一种新的声纳图像重建技术，以有效地重建水下物体的表面。该方法首先采用自适应阈值对非空声纳数据点进行2×2网格块搜索，然后对空点进行3×3网格块搜索以减少声纳噪声。
Mai [176, 177]成像声纳（IS）建议使用一种新颖的技术来检索水下浸没物体的三维数据。在建议的方法中，提取并跟踪水下物体的线条，用于下一代声纳传感器，这些线条在图像后处理算法中用作视觉特征。

5.2. 光 - 声方法融合

用于 3D 重建的光学方法可提供高分辨率和物体细节，但有限的观察范围限制了它们。水下声纳的缺点包括分辨率较粗糙和数据提取更具挑战性，但它可以在更宽的视野范围内发挥作用，即使在水浊度条件下也能提供三维信息。因此，人们提出了光学和声学传感器的组合进行重建。声学传感器的技术进步和改进逐渐使生成适合集成的高质量、高分辨率数据成为可能，尽管存在结合两种不同分辨率的模式的挑战，但仍可以为水下场景重建的新技术进行相关设计 [179]。

Negahdaripour et al. [180] 使用了带有 IS 和摄像头的立体声系统。对应于光学和声学图像的相关极几何结构由圆锥截面。他们提出了一种通过从噪声图像测量的最大似然估计进行 3D 重建的方法。此外，在 [181] 中，他们使用 SfM 方法从使用 IS 拍摄的图像集合中恢复了 3D 数据。他们提出，对于 2D 光学图像，基于类似于运动视差的视觉信息，可以使用附近观察位置的多个目标图像进行 3D 形状重建。然后在两个视图中使用线性算法匹配 3D 重建，并检查一些退化配置。此外，Babaee 和 Negahdaripour [182] 利用融合光学和声纳相机进行多模态立体成像。立体装置的轨迹是使用光声光束调整计算的，以便将 3D 对象边缘转换为参考坐标系中对象表面的注册样本。人工匹配 IS 和相机图像之间的特征进行重建。

Inglis 和 Roman [183] 使用 MBS 约束立体对应，将经常麻烦的立体对应搜索限制在图像的一小部分，对应于从共同注册的 MBS 微浴计算的外极估计范围。在对导航、多波束和立体数据进行预处理后，将来自 Hercules ROV 的声纳和光学数据映射到一个公共坐标系中，以最大限度地减少误差。他们还提出了一种技术，利用来自成像区域的局部测深信息来限制稀疏特征匹配和密集立体视差估计。与无约束系统相比，这种方法的内层数量显著增加。然后，对特征对应进行 3D 三角化和后处理，以对数据进行平滑和纹理映射。

Hurtos 等 [179] 提出了一种由单个摄像头和 MBS 组成的光声系统。声学传感器用于获取到海底的距离信息，而光学相机则用于收集颜色或纹理等特征。系统传感器使用简单的针孔相机和多波束简化模型进行几何建模，该模型被简化为沿声纳总孔径均匀分布的几束。然后，利用两个传感器之间的刚性变换矩阵建立声音廓线与光学图像之间的映射关系；此外，采用了一种考虑了最佳校准和导航信息的简单方法，以证明可以使用校准的相机 - 声纳系统来获得海床的 3D 模型。然后，采用 Zhang 和 Pless [184] 提出的校准程序对相机和隐形激光测距仪进行校准。Kunz 等 [185] 将来自单个相机的视觉信息与来自 MBS 的距离信息融合在一起。因此，可以将图像纹理映射到 MBS 测深（从 3 m 到 5 cm），获得 3D 和颜色信息。该系统利用姿态图优化、平方根数据平滑和映射帧来同时求解机器人的轨迹、地图和相机在机器人框架中的位置。在姿态图中，匹配的视觉元素被视为 3D 地标的表示，并利用多波束测深子图匹配来施加相对姿态限制，将机器人姿态连接到各种俯冲轨迹线。

Teague 等 [186] 使用低成本的 ROV 作为平台，使用声学应答器进行实时跟踪和定位，并将其与水下摄影测量相结合，使摄影测量模型具有地理参考性，从而产生了更好的三维重建结果。水下定位使用短基线 （SBL） 系统。由于 SBL 系统不需要海底安装的应答器，因此可用于从移动平台（如固定平台）跟踪水下 ROV。Mattei 等 [187] 结合使用 SSS 和摄影测量法来绘制水下景观，并对所有考古遗址进行详细的 3D 重建。他们使用快速静态技术对三个水下地面控制点进行了 GPS [188] 地形测量。使用 Chesapeake Sonar Web Pro 3.16 程序，对整个研究过程中捕获的声纳图像进行处理，以生成 GeoTIFF 马赛克并获取整个区域的声纳覆盖范围。通过在 ArcGIS ArcScene 中构建马赛克来获得水下听觉景观的 3D 图片。他们对超声图应用反向散射信号分析，以识别考古遗迹、岩石底部和沙底的声学特征。光学图像使用 GPS快速静态程序来确定柱上标记点的坐标，从而提取和地理参考每个波段的密集点云。然后使用经典的 ICP 程序将不同的点云组装成一个云。

Kim 等 [189] 使用机器人作系统（ROS）环境集成了 IS 和光学模拟器。IS 模型检测从源到物体的距离以及返回的超声波束的程度，而光学视觉模型只是找到哪个物体位置最近并记录其颜色。光源与对象之间以及对象与光学相机之间的距离值可用于计算光的衰减，但当前在模型中会忽略这些值。该模型基于 Z 缓冲区方法 [190]。在此方法中，对象的每个多边形都投影到光学相机窗口上。然后，窗口的每个像素都会搜索投影到该像素上的多边形的每个点，并存储最近点的颜色。

Rahman 等 [191] 提出了一种用于水下物体的实时 SLAM 技术，该技术需要来自立体相机的视觉数据、来自惯性测量单元（IMU）的角速度和线性加速度数据以及来自机械 SSS 的距离数据。他们采用了一种紧密耦合的非线性优化方法，将 IMU 测量与 SV 和声纳数据相结合，并采用基于非线性优化的视觉惯性里程计（VIO）算法 [192,193]。为了将声纳距离数据融合到 VIO 框架中，提出了在每个声纳点周围放置一个可见的补丁，并利用补丁和声纳点之间的距离在姿态图中引入了额外的约束。此外，采用基于关键帧的方法原理，使图像稀疏以进行实时优化。这使得自主水下航行器能够更稳健地导航，使用更密集的 3D 点云检测障碍物，并执行更高分辨率的重建。

表 7 比较了使用声光融合方法的水下 3D 重建技术，主要列出了声纳类型和作者的主要贡献。

目前，声纳传感器广泛用于水下环境。声纳传感器即使在昏暗的水中也能获得可靠的信息。因此，它是最适合水下传感的传感器。同时，声学摄像机的发展使水环境中的信息收集更加有效。然而，使用声纳获得的图像数据的分辨率相对较粗糙。光学方法提供高分辨率和目标细节，但它们受到有限视距的限制。因此，基于光声传感器互补性的数据组合是水下三维重建的未来发展趋势。虽然很难将两种不同分辨率的作模式结合起来，但声学传感器的技术创新和进步逐渐允许产生适合集成的高质量高分辨率数据，从而为水下场景重建设计新技术。

表 7. 使用声光融合的 3D 重建技术总结。

参考文献声纳类型贡献
Negahdaripour [180, 181]成像声纳（IS）作者研究了如何从两个随机选取的相机位置拍摄的两张照片中确定三维点的位置。提出了许多线性封闭形式的解决方案，然后对它们的准确性和退化性进行了比较和研究。
Babaee [182]成像声纳（IS）提出了一种多模态立体成像方法，使用重合的光学和声学相机。此外，通过利用二维遮挡轮廓作为三维物体边缘照片的建筑特征，避免了创建复杂的光声对应关系的问题。
Inglis [183]多波束声纳（MBS）提出了一种技术，将立体对应问题限制在图像的一小部分，该部分对应于从联合注册的MBS显微摄影测量中计算出的极线上的估计距离。这可以应用于基于稀疏特征的立体对应技术。
Hurtos [179]多波束声纳（MBS）提出了一种有效解决MBS与相机系统之间校准问题的方法。
Kunz [185]多波束声纳（MBS）本文使用抽象姿态图来解决定位和传感器校准方面的难题。姿态图捕捉了在灵活的稀疏图框架中移动的机器人的轨迹与导航和地图传感器所做测量之间的关系，从而实现轨迹和地图的快速优化。
Teague [186]声学应答器提出了一种以现有低成本遥控潜水器（ROV）为平台的重建方法。这些平台为水下摄影测量提供了基础，与传统潜水员相比，具有速度和稳定性优势。
Mattei [187]侧扫声纳（SSS）将地球物理和编程传感器集成到无人水下航行器（USV）中，以实现海底形态的精确测量和水下文化遗产的三维重建。
Kim [189]双频识别声纳（DIDSON）提出了一种虚拟水下模拟器的动态模型和传感器模型。该模拟器使用机器人操作系统（ROS）接口创建，可快速与当前和未来的ROS插件连接。
Rahman [191]声学传感器提出的方法利用了明亮区域和黑暗区域之间清晰定义的边缘，以提供额外的特征，从而创建三维点云，该点云与视觉点云相结合。

结论与展望

6.1. 结论

随着深海机器人领域现成水下摄像系统和定制系统数量的增加，水下图像和视频剪辑变得越来越容易获得。这些图像被应用于大量场景，为水下 3D 重建提供更新、更准确的数据。本文主要介绍了基于光学图像的水下三维重建的常用方法。然而，由于声纳在水下三维重建中的广泛应用，本文还介绍和总结了声学和光声融合方法。本文解决了水下环境的特殊问题，以及水下相机标定和水下图像处理的两个主要问题及其对光学图像三维重建的解决方案。对水下壳体接口进行了校准，理论上可以得到正确的场景尺度，但当通信中有噪声时，可能无法获得正确的场景尺度，需要进一步改进算法。利用 Citespace 软件对近二十年来水下三维重建方向的相关论文进行可视化分析，直观地展示了该领域的研究内容和热点。本文系统介绍了广泛使用的光学图像方法，包括运动结构、结构光、光度立体、立体视觉和水下摄影测量，并综述了使用这些方法的传统论文和改进。同时，本文还介绍和总结了声纳声学方法以及声光方法的融合。

显然，基于图像的水下 3D 重建具有极高的成本效益 [194]。它便宜、简单、快捷，同时提供基本的视觉信息。然而，由于它非常依赖视力，这种方法在浑浊的水域中是不切实际的。此外，单个光学成像设备无法覆盖 3D 重建所需的所有范围和分辨率。因此，为了避免每种传感器的限制，实用的重建方法通常会融合具有相同或不同性质的各种传感器。该论文还介绍了具有光学方法在第四部分介绍，并在第五部分重点介绍光 - 声传感器 - 融合系统。

6.2. 潜在客户

目前，水下图像的三维重建技术取得了良好的效果。然而，由于水下环境的复杂性，它们的适用性还不够广泛。因此，基于图像的水下三维重建技术可以从以下几个方向进一步加强发展：

(1)提高重建精度和效率。目前，基于图像的水下三维重建技术可以实现较高的重建精度，但在大尺度水下场景中的效率和精度仍有待提高。未来的研究可以通过优化算法、改进传感器技术和提高计算速度来实现。例如，提高传感器分辨率、灵敏度和频率可以改进传感器技术。使用高性能计算平台、优化算法等方面可以加快计算速度，从而提高水下三维重建的效率。

(2)求解多模态融合问题。目前，基于图像的水下三维重建取得了良好的效果，但由于水下环境的特殊性，单一成像系统无法满足所有水下三维重建需求，覆盖范围和分辨率不同。虽然研究人员现在已经在水下三维重建中应用了均匀或异构传感器融合，但融合的程度和效果尚未达到理想的状态，需要在融合领域进行进一步研究。

(3)改进实时重建。实时水下三维重建是未来研究的重要方向。由于基于图像的 3D 重建计算复杂度高，因此很难完成实时 3D 重建。希望在未来的研究中，可以降低计算复杂性，并将基于图像的 3D 重建应用于实时重建。实时水下三维重建可以为水下机器人、水下探测和水下搜救等应用提供更实时、更准确的数据支持，具有重要的应用价值。

(4)开发评估指标的算法。目前，用于评估重建工作的算法并不多。他们的发展相对较慢，整体研究还不够成熟。未来评估算法的研究应更加注重整体与局部的结合，以及视觉精度和几何精度的结合，以便更全面地评价三维重建的效果。

缩写

AUVAutonomous Underwater Vehicle
CNNsConvolutional Neural Networks
CTARCube-Type Artificial Reef
EKFExtended Kalman Filter
EoREllipse of Refrax
ERHEnhancement–Registration–Homogenization
FLMSForward-Looking Multibeam Sonar
GPSGlobal Positioning System
ICPIterative Closest Point
IMUInertial Measurement Unit
ISImaging Sonar
LTSLeast Trimmed Squares
LTS-RALeast Trimmed Square Rotation Averaging
MBSMultibeam Sonar
MSISMechanical Scanning Imaging Sonar
MUMCMinimum Uncertainty Maximum Consensus
PMVSPatches-based Multi-View Stereo
PSOParticle Swarm Optimization
RANSACRandom Sample And Consensus
RDRefractive Depth
ROSRobot Operating System
ROVRemotely Operated Vehicle
RPCARobust Principal Component Analysis
RSfMRefractive Structure from Motion
VIOVisual–Inertial Odometer
SADSum of Absolute Differences
SAMSmoothing And Mapping
SBLShort Baseline
SBSSingle-Beam Sonar
SGMSemi-Global Matching
SfMStructure from Motion
SIFTScale-Invariant Feature Transform
SLStructured Light
SLAMSimultaneous Localization and Mapping
SOASeagull Algorithm
SSSSide-Scan Sonar
SURFSpeeded-Up Robust Features
SVStereo Vision
SVPSingle View Point

参考文献

  1. Blais, F. Review of 20 years of range sensor development. J. Electron. Imaging 2004, 13, 231–243. [CrossRef]
  2. Malamas, E.N.; Petrakis, E.G.; Zervakis, M.; Petit, L.; Legat, J.D. A survey on industrial vision systems, applications and tools. Image Vis. Comput. 2003, 21, 171–188. [CrossRef]
  3. Massot-Campos, M.; Oliver-Codina, G. Optical sensors and methods for underwater 3D reconstruction. Sensors 2015, 15, 31525–31557. [CrossRef]
    [PubMed]
  4. Qi, Z.; Zou, Z.; Chen, H.; Shi, Z. 3D Reconstruction of Remote Sensing Mountain Areas with TSDF-Based Neural Networks.
  5. Cui, B.; Tao, W.; Zhao, H. High-Precision 3D Reconstruction for Small-to-Medium-Sized Objects Utilizing Line-Structured Light Scanning: A Review. Remote Sens. 2021, 13, 4457.
  6. Lo, Y.; Huang, H.; Ge, S.; Wang, Z.; Zhang, C.; Fan, L. Comparison of 3D Reconstruction Methods: Image-Based and LaserScanning-Based. In Proceedings of the International Symposium on Advancement of Construction Management and Real Estate, Chongqing, China, 29 November–2 December 2019. pp. 1257–1266.
  7. Shortis, M. Calibration techniques for accurate measurements by underwater camera systems. Sensors 2015, 15, 30810–30826. [CrossRef]
  8. Xi, Q.; Rauschenbach, T.; Daoliang, L. Review of underwater machine vision technology and its applications. Mar. Technol. Soc. J. 2017, 51, 75–97. [CrossRef]
  9. Castillón, M.; Palomer, A.; Forest, J.; Ridao, P. State of the art of underwater active optical 3D scanners. Sensors 2019, 19, 5161.
  10. Sahoo, A.; Dwivedy, S.K.; Robi, P. Advancements in the field of autonomous underwater vehicle. Ocean. Eng. 2019, 181, 145–160. [CrossRef]
  11. Chen, C.; Ibekwe-SanJuan, F.; Hou, J. The structure and dynamics of cocitation clusters: A multiple-perspective cocitation analysis. J. Am. Soc. Inf. Sci. Technol. 2010, 61, 1386–1409. [CrossRef]
  12. Chen, C.; Dubin, R.; Kim, M.C. Emerging trends and new developments in regenerative medicine: A scientometric update (2000–2014). Expert Opin. Biol. Ther. 2014, 14, 1295–1317. [CrossRef]
  13. Chen, C. Science mapping: A systematic review of the literature. J. Data Inf. Sci. 2017, 2, 1–40. [CrossRef]
  14. Chen, C. Cascading citation expansion. arXiv 2018, arXiv:1806.00089.
  15. Chen, B.; Xia, M.; Qian, M.; Huang, J. MANet: A multi-level aggregation network for semantic segmentation of high-resolution remote sensing images. Int. J. Remote Sens. 2022, 43, 5874–5894. [CrossRef]
  16. Song, L.; Xia, M.; Weng, L.; Lin, H.; Qian, M.; Chen, B. Axial Cross Attention Meets CNN: Bibranch Fusion Network for Change Detection. IEEE J. Sel. Top. Appl. Earth Obs. Remote Sens. 2023, 16, 32–43. [CrossRef]
  17. Lu, C.; Xia, M.; Lin, H. Multi-scale strip pooling feature aggregation network for cloud and cloud shadow segmentation. Neural Comput. Appl. 2022, 34, 6149–6162. [CrossRef]
  18. Qu, Y.; Xia, M.; Zhang, Y. Strip pooling channel spatial attention network for the segmentation of cloud and cloud shadow. Comput. Geosci. 2021, 157, 104940. [CrossRef]
  19. Hu, K.; Weng, C.; Shen, C.; Wang, T.; Weng, L.; Xia, M. A multi-stage underwater image aesthetic enhancement algorithm based on a generative adversarial network. Eng. Appl. Artif. Intell. 2023, 123, 106196. [CrossRef]
  20. Lu, C.; Xia, M.; Qian, M.; Chen, B. Dual-Branch Network for Cloud and Cloud Shadow Segmentation. IEEE Trans. Geosci. Remote Sens. 2022, 60, 1–12. [CrossRef]
  21. Shuai Zhang, L.W. STPGTN–A Multi-Branch Parameters Identification Method Considering Spatial Constraints and Transient Measurement Data. Comput. Model. Eng. Sci. 2023, 136, 2635–2654. [CrossRef]
  22. Hu, K.; Ding, Y.; Jin, J.; Weng, L.; Xia, M. Skeleton Motion Recognition Based on Multi-Scale Deep Spatio-Temporal Features. Appl. Sci. 2022, 12, 1028. [CrossRef]
  23. Wang, Z.; Xia, M.; Lu, M.; Pan, L.; Liu, J. Parameter Identification in Power Transmission Systems Based on Graph Convolution Network. IEEE Trans. Power Deliv. 2022, 37, 3155–3163. [CrossRef]
  24. Beall, C.; Lawrence, B.J.; Ila, V.; Dellaert, F. 3D reconstruction of underwater structures. In Proceedings of the 2010 IEEE/RSJ International Conference on Intelligent Robots and Systems IEEE, Taipei, Taiwan, 18–22 October 2010; pp. 4418–4423.
  25. Bruno, F.; Bianco, G.; Muzzupappa, M.; Barone, S.; Razionale, A.V. Experimentation of structured light and stereo vision for underwater 3D reconstruction. ISPRS J. Photogramm. Remote Sens. 2011, 66, 508–518. [CrossRef]
  26. Bianco, G.; Gallo, A.; Bruno, F.; Muzzupappa, M. A comparative analysis between active and passive techniques for underwater 3D reconstruction of close-range objects. Sensors 2013, 13, 11007–11031. [CrossRef]
    [PubMed]
  27. Jordt, A.; Köser, K.; Koch, R. Refractive 3D reconstruction on underwater images. Methods Oceanogr. 2016, 15, 90–113. [CrossRef]
  28. Kang, L.; Wu, L.; Wei, Y.; Lao, S.; Yang, Y.H. Two-view underwater 3D reconstruction for cameras with unknown poses under flat refractive interfaces. Pattern Recognit. 2017, 69, 251–269. [CrossRef]
  29. Chadebecq, F.; Vasconcelos, F.; Lacher, R.; Maneas, E.; Desjardins, A.; Ourselin, S.; Vercauteren, T.; Stoyanov, D. Refractive two-view reconstruction for underwater 3d vision. Int. J. Comput. Vis. 2020, 128, 1101–1117. [CrossRef]
  30. Song, H.; Chang, L.; Chen, Z.; Ren, P. Enhancement-registration-homogenization (ERH): A comprehensive underwater visual reconstruction paradigm. IEEE Trans. Pattern Anal. Mach. Intell. 2021, 44, 6953–6967. [CrossRef]
  31. Su, Z.; Pan, J.; Lu, L.; Dai, M.; He, X.; Zhang, D. Refractive three-dimensional reconstruction for underwater stereo digital image correlation. Opt. Express 2021, 29, 12131–12144. [CrossRef]
  32. Drap, P.; Seinturier, J.; Scaradozzi, D.; Gambogi, P.; Long, L.; Gauch, F. Photogrammetry for virtual exploration of underwater archeological sites. In Proceedings of the 21st International Symposium CIPA, Athens, Greece, 1–6 October 2007; p. 1e6.
  33. Gawlik, N. 3D Modelling of Underwater Archaeological Artefacts. Master’s Thesis, Institutt for Bygg, Anlegg Og Transport, Trondheim, Norway, 2014. 34. Pope, R.M.; Fry, E.S. Absorption spectrum (380–700 nm) of pure water. II. Integrating cavity measurements. Appl. Opt. 1997, 36, 8710–8723. [CrossRef]
  34. Schechner, Y.Y.; Karpel, N. Clear underwater vision. In Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition IEEE, Washington, DC, USA, 27 June–2 July 2004; Volume 1, p. I.
  35. Jordt-Sedlazeck, A.; Koch, R. Refractive calibration of underwater cameras. In Proceedings of the European Conference on Computer Vision, Florence, Italy, 7–13 October 2012; pp. 846–859.
  36. Skinner, K.A.; Iscar, E.; Johnson-Roberson, M. Automatic color correction for 3D reconstruction of underwater scenes. In Proceedings of the 2017 IEEE International Conference on Robotics and Automation (ICRA) IEEE, Singapore, 29 June 2017; pp. 5140–5147.
  37. Hu, K.; Jin, J.; Zheng, F.; Weng, L.; Ding, Y. Overview of behavior recognition based on deep learning. Artif. Intell. Rev. 2022, 56, 1833–1865. [CrossRef]
  38. Agrafiotis, P.; Skarlatos, D.; Forbes, T.; Poullis, C.; Skamantzari, M.; Georgopoulos, A. Underwater Photogrammetry in Very Shallow Waters: Main Challenges and Caustics Effect Removal; International Society for Photogrammetry and Remote Sensing: Hannover, Germany, 2018.
  39. Trabes, E.; Jordan, M.A. Self-tuning of a sunlight-deflickering filter for moving scenes underwater. In Proceedings of the 2015 XVI Workshop on Information Processing and Control (RPIC) IEEE, Cordoba, Argentina, 6–9 October 2015. pp. 1–6.
  40. Gracias, N.; Negahdaripour, S.; Neumann, L.; Prados, R.; Garcia, R. A motion compensated filtering approach to remove sunlight flicker in shallow water images. In Proceedings of the OCEANS IEEE, Quebec City, QC, Canada, 15–18 September 2008; pp. 1–7.
  41. Shihavuddin, A.; Gracias, N.; Garcia, R. Online Sunflicker Removal using Dynamic Texture Prediction. In VISAPP 1; Girona, Spain, 24–26 February 2012, Science and Technology Publications: Setubal, Portugal; pp. 161–167.
  42. Schechner, Y.Y.; Karpel, N. Attenuating natural flicker patterns. In Proceedings of the Oceans’ 04 MTS/IEEE Techno-Ocean’04 (IEEE Cat. No. 04CH37600) IEEE, Kobe, Japan, 9–12 November 2004; Volume 3, pp. 1262–1268.
  43. Swirski, Y.; Schechner, Y.Y. 3Deflicker from motion. In Proceedings of the IEEE International Conference on Computational Photography (ICCP) IEEE, Cambridge, MA, USA, 19–21 April 2013; pp. 1–9.
  44. Forbes, T.; Goldsmith, M.; Mudur, S.; Poullis, C. DeepCaustics: Classification and removal of caustics from underwater imagery. IEEE J. Ocean. Eng. 2018, 44, 728–738. [CrossRef]
  45. Hu, K.; Wu, J.; Li, Y.; Lu, M.; Weng, L.; Xia, M. FedGCN: Federated Learning-Based Graph Convolutional Networks for Non-Euclidean Spatial Data. Mathematics 2022, 10, 1000. [CrossRef]
  46. Zhang, C.; Weng, L.; Ding, L.; Xia, M.; Lin, H. CRSNet: Cloud and Cloud Shadow Refinement Segmentation Networks for Remote Sensing Imagery. Remote Sens. 2023, 15, 1664. [CrossRef]
  47. Ma, Z.; Xia, M.; Lin, H.; Qian, M.; Zhang, Y. FENet: Feature enhancement network for land cover classification. Int. J. Remote Sens. 2023, 44, 1702–1725. [CrossRef]
  48. Hu, K.; Li, M.; Xia, M.; Lin, H. Multi-Scale Feature Aggregation Network for Water Area Segmentation. Remote Sens. 2022, 14, 206. [CrossRef]
  49. Hu, K.; Zhang, Y.; Weng, C.; Wang, P.; Deng, Z.; Liu, Y. An underwater image enhancement algorithm based on generative adversarial network and natural image quality evaluation index. J. Mar. Sci. Eng. 2021, 9, 691. [CrossRef]
  50. Li, Y.; Lin, Q.; Zhang, Z.; Zhang, L.; Chen, D.; Shuang, F. MFNet: Multi-level feature extraction and fusion network for large-scale point cloud classification. Remote Sens. 2022, 14, 5707. [CrossRef]
  51. Agrafiotis, P.; Drakonakis, G.I.; Georgopoulos, A.; Skarlatos, D. The Effect of Underwater Imagery Radiometry on 3D Reconstruction and Orthoimagery; International Society for Photogrammetry and Remote Sensing: Hannover, Germany, 2017.
  52. Jian, M.; Liu, X.; Luo, H.; Lu, X.; Yu, H.; Dong, J. Underwater image processing and analysis: A review. Signal Process. Image Commun. 2021, 91, 116088. [CrossRef]
  53. Ghani, A.S.A.; Isa, N.A.M. Underwater image quality enhancement through Rayleigh-stretching and averaging image planes. Int. J. Nav. Archit. Ocean. Eng. 2014, 6, 840–866. [CrossRef]
  54. Mangeruga, M.; Cozza, M.; Bruno, F. Evaluation of underwater image enhancement algorithms under different environmental conditions. J. Mar. Sci. Eng. 2018, 6, 10. [CrossRef]
  55. Mangeruga, M.; Bruno, F.; Cozza, M.; Agrafiotis, P.; Skarlatos, D. Guidelines for underwater image enhancement based on benchmarking of different methods. Remote Sens. 2018, 10, 1652. [CrossRef]
  56. Hu, K.; Zhang, Y.; Lu, F.; Deng, Z.; Liu, Y. An underwater image enhancement algorithm based on MSR parameter optimization. J. Mar. Sci. Eng. 2020, 8, 741. [CrossRef]
  57. Li, C.; Guo, C.; Ren, W.; Cong, R.; Hou, J.; Kwong, S.; Tao, D. An underwater image enhancement benchmark dataset and beyond. IEEE Trans. Image Process. 2019, 29, 4376–4389. [CrossRef]
  58. Gao, J.; Weng, L.; Xia, M.; Lin, H. MLNet: Multichannel feature fusion lozenge network for land segmentation. J. Appl. Remote Sens. 2022, 16, 1–19. [CrossRef]
  59. Miao, S.; Xia, M.; Qian, M.; Zhang, Y.; Liu, J.; Lin, H. Cloud/shadow segmentation based on multi-level feature enhanced network for remote sensing imagery. Int. J. Remote Sens. 2022, 43, 5940–5960. [CrossRef]
  60. Ma, Z.; Xia, M.; Weng, L.; Lin, H. Local Feature Search Network for Building and Water Segmentation of Remote Sensing Image. Sustainability 2023, 15, 3034. [CrossRef]
  61. Hu, K.; Zhang, E.; Xia, M.; Weng, L.; Lin, H. MCANet: A Multi-Branch Network for Cloud/Snow Segmentation in HighResolution Remote Sensing Images. Remote Sens. 2023, 15, 1055. [CrossRef]
  62. Chen, J.; Xia, M.; Wang, D.; Lin, H. Double Branch Parallel Network for Segmentation of Buildings and Waters in Remote Sensing Images. Remote Sens. 2023, 15, 1536. [CrossRef]
  63. McCarthy, J.K.; Benjamin, J.; Winton, T.; van Duivenvoorde, W. 3D Recording and Interpretation for Maritime Archaeology. Underw. Technol. 2020, 37, 65–66. [CrossRef]
  64. Pedersen, M.; Hein Bengtson, S.; Gade, R.; Madsen, N.; Moeslund, T.B. Camera calibration for underwater 3D reconstruction based on ray tracing using Snell’s law. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, Salt Lake City, UT, USA, 18–22 June 2018; pp. 1410–1417.
  65. Kwon, Y.H. Object plane deformation due to refraction in two-dimensional underwater motion analysis. J. Appl. Biomech. 1999, 15, 396–403. [CrossRef]
  66. Treibitz, T.; Schechner, Y.; Kunz, C.; Singh, H. Flat refractive geometry. IEEE Trans. Pattern Anal. Mach. Intell. 2011, 34, 51–65. [CrossRef]
  67. Menna, F.; Nocerino, E.; Troisi, S.; Remondino, F. A photogrammetric approach to survey floating and semi-submerged objects. In Proceedings of the Videometrics, Range Imaging, and Applications XII and Automated Visual Inspection SPIE, Munich, Germany, 23 May 2013; Volume 8791, pp. 117–131.
  68. Gu, C.; Cong, Y.; Sun, G.; Gao, Y.; Tang, X.; Zhang, T.; Fan, B. MedUCC: Medium-Driven Underwater Camera Calibration for Refractive 3-D Reconstruction. IEEE Trans. Syst. Man Cybern. Syst. 2021, 52, 5937–5948. [CrossRef]
  69. Du, S.; Zhu, Y.; Wang, J.; Yu, J.; Guo, J. Underwater Camera Calibration Method Based on Improved Slime Mold Algorithm. Sustainability 2022, 14, 5752. [CrossRef]
  70. Shortis, M. Camera calibration techniques for accurate measurement underwater. In 3D Recording and Interpretation for Maritime Archaeology; Springer: Berlin/Heidelberg, Germany, 2019; pp. 11–27.
  71. Sedlazeck, A.; Koch, R. Perspective and non-perspective camera models in underwater imaging—Overview and error analysis. In Proceedings of the 15th International Conference on Theoretical Foundations of Computer Vision: Outdoor and Large-Scale Real-World Scene Analysis, Dagstuhl Castle, Germany, 26 June 2011; Volume 7474, pp. 212–242.
  72. Constantinou, C.C.; Loizou, S.G.; Georgiades, G.P.; Potyagaylo, S.; Skarlatos, D. Adaptive calibration of an underwater robot vision system based on hemispherical optics. In Proceedings of the 2014 IEEE/OES Autonomous Underwater Vehicles (AUV) IEEE, San Diego, CA, USA, 6–9 October 2014; pp. 1–5.
  73. Ma, X.; Feng, J.; Guan, H.; Liu, G. Prediction of chlorophyll content in different light areas of apple tree canopies based on the color characteristics of 3D reconstruction. Remote Sens. 2018, 10, 429. [CrossRef]
  74. Longuet-Higgins, H.C. A computer algorithm for reconstructing a scene from two projections. Nature 1981, 293, 133–135. [CrossRef]
  75. Hu, K.; Lu, F.; Lu, M.; Deng, Z.; Liu, Y. A marine object detection algorithm based on SSD and feature enhancement. Complexity 2020, 2020, 5476142. [CrossRef]
  76. Bay, H.; Tuytelaars, T.; Gool, L.V. Surf: Speeded up robust features. In Proceedings of the European Conference on Computer Vision, Graz, Austria, 1 January 2006; pp. 404–417.
  77. Ng, P.C.; Henikoff, S. SIFT: Predicting amino acid changes that affect protein function. Nucleic Acids Res. 2003, 31, 3812–3814. [CrossRef]
  78. Meline, A.; Triboulet, J.; Jouvencel, B. Comparative study of two 3D reconstruction methods for underwater archaeology. In Proceedings of the 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems IEEE, Vilamoura-Algarve, Portugal, 7–12 October 2012; pp. 740–745.
  79. Moulon, P.; Monasse, P.; Marlet, R. Global fusion of relative motions for robust, accurate and scalable structure from motion. In Proceedings of the IEEE International Conference on Computer Vision, Sydney, Australia, 1–8 December 2013; pp. 3248–3255.
  80. Snavely, N.; Seitz, S.M.; Szeliski, R. Photo tourism: Exploring photo collections in 3D. Acm Trans. Graph. 2006, 25, 835–846. [CrossRef]
  81. Gao, X.; Hu, L.; Cui, H.; Shen, S.; Hu, Z. Accurate and efficient ground-to-aerial model alignment. Pattern Recognit. 2018, 76, 288–302. [CrossRef]
  82. Triggs, B.; Zisserman, A.; Szeliski, R. Vision Algorithms: Theory and Practice. In Proceedings of the International Workshop on Vision Algorithms, Corfu, Greece, 21–22 September 1999; Springer: Berlin/Heidelberg, Germany, 2000.
  83. Wu, C. Towards linear-time incremental structure from motion. In Proceedings of the 2013 International Conference on 3D Vision-3DV 2013 IEEE, Tokyo, Japan, 29 October–1 November 2013; pp. 127–134.
  84. Moulon, P.; Monasse, P.; Perrot, R.; Marlet, R. Openmvg: Open multiple view geometry. In Proceedings of the International Workshop on Reproducible Research in Pattern Recognition, Cancun, Mexico, 4 December 2016; pp. 60–74.
  85. Hartley, R.; Trumpf, J.; Dai, Y.; Li, H. Rotation averaging. Int. J. Comput. Vis. 2013, 103, 267–305. [CrossRef]
  86. Wilson, K.; Snavely, N. Robust global translations with 1dsfm. In Proceedings of the European Conference on Computer Vision, Zurich, Switzerland, 6–12 September 2014; pp. 61–75.
  87. Liu, S.; Jiang, S.; Liu, Y.; Xue, W.; Guo, B. Efficient SfM for Large-Scale UAV Images Based on Graph-Indexed BoW and Parallel-Constructed BA Optimization. Remote Sens. 2022, 14, 5619. [CrossRef]
  88. Wen, Z.; Fraser, D.; Lambert, A.; Li, H. Reconstruction of underwater image by bispectrum. In Proceedings of the 2007 IEEE International Conference on Image Processing IEEE, San Antonio, TX, USA, 16–19 September 2007; Volume 3, p. 545. 90. Sedlazeck, A.; Koser, K.; Koch, R. 3D reconstruction based on underwater video from rov kiel 6000 considering underwater imaging conditions. In Proceedings of the OCEANS 2009-Europe IEEE, Scotland, UK, 11–14 May 2009; pp. 1–10.
  89. Fischler, M.A.; Bolles, R.C. Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography. Commun. ACM 1981, 24, 381–395. [CrossRef]
  90. Pizarro, O.; Eustice, R.M.; Singh, H. Large area 3-D reconstructions from underwater optical surveys. IEEE J. Ocean. Eng. 2009, 34, 150–169. [CrossRef]
  91. Xu, X.; Che, R.; Nian, R.; He, B.; Chen, M.; Lendasse, A. Underwater 3D object reconstruction with multiple views in video stream via structure from motion. In Proceedings of the OCEANS 2016-Shanghai IEEE, ShangHai, China, 10–13 April 2016; pp. 1–5.
  92. Chen, Y.; Li, Q.; Gong, S.; Liu, J.; Guan, W. UV3D: Underwater Video Stream 3D Reconstruction Based on Efficient Global SFM. Appl. Sci. 2022, 12, 5918. [CrossRef]
  93. Jordt-Sedlazeck, A.; Koch, R. Refractive structure-from-motion on underwater images. In Proceedings of the IEEE International Conference on Computer Vision, Sydney, Australia, 1–8 December 2013; pp. 57–64.
  94. Triggs, B.; McLauchlan, P.F.; Hartley, R.I.; Fitzgibbon, A.W. Bundle adjustment—A modern synthesis. In Proceedings of the International Workshop on Vision Algorithms, Corfu, Greece, 21–22 September 1999; pp. 298–372.
  95. Kang, L.; Wu, L.; Yang, Y.H. Two-view underwater structure and motion for cameras under flat refractive interfaces. In Proceedings of the European Conference on Computer Vision, Ferrara, Italy, 7–13 October 2012; pp. 303–316.
  96. Parvathi, V.; Victor, J.C. Multiview 3D reconstruction of underwater scenes acquired with a single refractive layer using structure from motion. In Proceedings of the 2018 Twenty Fourth National Conference on Communications (NCC) IEEE, Hyderabad, India, 25–28 February 2018; pp. 1–6.
  97. Chadebecq, F.; Vasconcelos, F.; Dwyer, G.; Lacher, R.; Ourselin, S.; Vercauteren, T.; Stoyanov, D. Refractive structure-from-motion through a flat refractive interface. In Proceedings of the IEEE International Conference on Computer Vision, Venice, Italy, 22–29 October 2017; pp. 5315–5323.
  98. Qiao, X.; Yamashita, A.; Asama, H. 3D Reconstruction for Underwater Investigation at Fukushima Daiichi Nuclear Power Station Using Refractive Structure from Motion. In Proceedings of the International Topical Workshop on Fukushima Decommissioning Research, Fukushima, Japan, 24–26 May 2019; pp. 1–4.
  99. Ichimaru, K.; Taguchi, Y.; Kawasaki, H. Unified underwater structure-from-motion. In Proceedings of the 2019 International Conference on 3D Vision (3DV) IEEE, Quebec City, Canada, 16–19 September 2019; pp. 524–532.
  100. Jeon, I.; Lee, I. 3D Reconstruction of unstable underwater environment with SFM using SLAM. Int. Arch. Photogramm. Remote Sens. Spat. Inf. Sci. 2020, 43, 1–6. [CrossRef]
  101. Jaffe, J.S. Underwater optical imaging: The past, the present, and the prospects. IEEE J. Ocean. Eng. 2014, 40, 683–700. [CrossRef]
  102. Woodham, R.J. Photometric method for determining surface orientation from multiple images. Opt. Eng. 1980, 19, 139–144. [CrossRef]
  103. Narasimhan, S.G.; Nayar, S.K. Structured light methods for underwater imaging: Light stripe scanning and photometric stereo. In Proceedings of the OCEANS 2005 MTS/IEEE, Washington, DC, USA, 19–22 September 2005; pp. 2610–2617.
  104. Wu, L.; Ganesh, A.; Shi, B.; Matsushita, Y.; Wang, Y.; Ma, Y. Robust photometric stereo via low-rank matrix completion and recovery. In Proceedings of the Asian Conference on Computer Vision, Queenstown, New Zealand, 8–12 November 2010; pp. 703–717.
  105. Tsiotsios, C.; Angelopoulou, M.E.; Kim, T.K.; Davison, A.J. Backscatter compensated photometric stereo with 3 sources. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, USA, 23–28 June 2014; pp. 2251–2258.
  106. Wu, Z.; Liu, W.; Wang, J.; Wang, X. A Height Correction Algorithm Applied in Underwater Photometric Stereo Reconstruction. In Proceedings of the 2018 IEEE International Conference on Signal Processing, Communications and Computing (ICSPCC) IEEE, Hangzhou, China, 5–8 August 2018; pp. 1–6.
  107. Murez, Z.; Treibitz, T.; Ramamoorthi, R.; Kriegman, D. Photometric stereo in a scattering medium. In Proceedings of the IEEE International Conference on Computer Vision, Santiago, Chile, 7–13 December 2015; pp. 3415–3423.
  108. Jiao, H.; Luo, Y.; Wang, N.; Qi, L.; Dong, J.; Lei, H. Underwater multi-spectral photometric stereo reconstruction from a single RGBD image. In Proceedings of the 2016 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA) IEEE, Macau, China, 13–16 December 2016; pp. 1–4.
  109. Telem, G.; Filin, S. Photogrammetric modeling of underwater environments. ISPRS J. Photogramm. Remote Sens. 2010, 65, 433–444. [CrossRef]
  110. Kolagani, N.; Fox, J.S.; Blidberg, D.R. Photometric stereo using point light sources. In Proceedings of the 1992 IEEE International Conference on Robotics and Automation IEEE Computer Society, Nice, France, 12–14 May 1992; pp. 1759–1760. 113. Mecca, R.; Wetzler, A.; Bruckstein, A.M.; Kimmel, R. Near field photometric stereo with point light sources. SIAM J. Imaging Sci. 2014, 7, 2732–2770. [CrossRef]
  111. Fan, H.; Qi, L.; Wang, N.; Dong, J.; Chen, Y.; Yu, H. Deviation correction method for close-range photometric stereo with nonuniform illumination. Opt. Eng. 2017, 56, 103102. [CrossRef]
  112. Angelopoulou, M.E.; Petrou, M. Evaluating the effect of diffuse light on photometric stereo reconstruction. Mach. Vis. Appl. 2014, 25, 199–210. [CrossRef]
  113. Fan, H.; Qi, L.; Chen, C.; Rao, Y.; Kong, L.; Dong, J.; Yu, H. Underwater optical 3-d reconstruction of photometric stereo considering light refraction and attenuation. IEEE J. Ocean. Eng. 2021, 47, 46–58. [CrossRef]
  114. Li, X.; Fan, H.; Qi, L.; Chen, Y.; Dong, J.; Dong, X. Combining encoded structured light and photometric stereo for underwater 3D reconstruction. In Proceedings of the 2017 IEEE SmartWorld, Ubiquitous Intelligence & Computing, Advanced & Trusted Computed, Scalable Computing & Communications, Cloud & Big Data Computing, Internet of People and Smart City Innovation (SmartWorld/SCALCOM/UIC/ATC/CBDCom/IOP/SCI) IEEE, Melbourne, Australia, 4–8 August 2017; pp. 1–6.
  115. Salvi, J.; Fernandez, S.; Pribanic, T.; Llado, X. A state of the art in structured light patterns for surface profilometry. Pattern Recognit. 2010, 43, 2666–2680. [CrossRef]
  116. Salvi, J.; Pages, J.; Batlle, J. Pattern codification strategies in structured light systems. Pattern Recognit. 2004, 37, 827–849. [CrossRef]
  117. Zhang, S. Recent progresses on real-time 3D shape measurement using digital fringe projection techniques. Opt. Lasers Eng. 2010, 48, 149–158. [CrossRef]
  118. Zhang, Q.; Wang, Q.; Hou, Z.; Liu, Y.; Su, X. Three-dimensional shape measurement for an underwater object based on two-dimensional grating pattern projection. Opt. Laser Technol. 2011, 43, 801–805. [CrossRef]
  119. Törnblom, N. Underwater 3D Surface Scanning Using Structured Light. 2010. Available online: http://www.diva-portal.org/ smash/get/diva2:378911/FULLTEXT01.pdf (accessed on 18 September 2015).
  120. Massot-Campos, M.; Oliver-Codina, G.; Kemal, H.; Petillot, Y.; Bonin-Font, F. Structured light and stereo vision for underwater 3D reconstruction. In Proceedings of the OCEANS 2015-Genova IEEE, Genova, Italy, 18–21 May 2015; pp. 1–6.
  121. Tang, Y.; Zhang, Z.; Wang, X. Estimation of the Scale of Artificial Reef Sets on the Basis of Underwater 3D Reconstruction. J. Ocean. Univ. China 2021, 20, 1195–1206. [CrossRef]
  122. Sarafraz, A.; Haus, B.K. A structured light method for underwater surface reconstruction. ISPRS J. Photogramm. Remote Sens. 2016, 114, 40–52. [CrossRef]
  123. Fox, J.S. Structured light imaging in turbid water. In Proceedings of the Underwater Imaging SPIE, San Diego, CA, USA, 1–3 November 1988; Volume 980, pp. 66–71.
  124. Ouyang, B.; Dalgleish, F.; Negahdaripour, S.; Vuorenkoski, A. Experimental study of underwater stereo via pattern projection. In Proceedings of the 2012 Oceans IEEE, Hampton, VA, USA, 14–19 October 2012; pp. 1–7.
  125. Wang, Y.; Negahdaripour, S.; Aykin, M.D. Calibration and 3D reconstruction of underwater objects with non-single-view projection model by structured light stereo imaging. Appl. Opt. 2016, 55, 6564–6575. [CrossRef]
  126. Massone, Q.; Druon, S.; Triboulet, J. An original 3D reconstruction method using a conical light and a camera in underwater caves. In Proceedings of the 2021 4th International Conference on Control and Computer Vision, Guangzhou, China, 25–28 June 2021; pp. 126–134.
  127. Seitz, S.M.; Curless, B.; Diebel, J.; Scharstein, D.; Szeliski, R. A comparison and evaluation of multi-view stereo reconstruction algorithms. In Proceedings of the 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’06) IEEE, New York, NY, USA, 17–22 June 2006; Volume 1, pp. 519–528. 131. Hartley, R.; Zisserman, A. Multiple View Geometry in Computer Vision; Cambridge University Press: Cambridge, UK, 2003.
  128. Kumar, N.S.; Kumar, R. Design & development of autonomous system to build 3D model for underwater objects using stereo vision technique. In Proceedings of the 2011 Annual IEEE India Conference IEEE, Hyderabad, India, 16–18 December 2011; pp. 1–4.
  129. Atallah, M.J. Faster image template matching in the sum of the absolute value of differences measure. IEEE Trans. Image Process. 2001, 10, 659–663. [CrossRef]
    [PubMed]
  130. Rahman, T.; Anderson, J.; Winger, P.; Krouglicof, N. Calibration of an underwater stereoscopic vision system. In Proceedings of the 2013 OCEANS-San Diego IEEE, San Diego, CA, USA, 23–26 September 2013; pp. 1–6.
  131. Rahman, T.; Krouglicof, N. An efficient camera calibration technique offering robustness and accuracy over a wide range of lens distortion. IEEE Trans. Image Process. 2011, 21, 626–637. [CrossRef]
    [PubMed]
  132. Heikkila, J. Geometric camera calibration using circular control points. IEEE Trans. Pattern Anal. Mach. Intell. 2000, 22, 1066–1077. [CrossRef]
  133. Oleari, F.; Kallasi, F.; Rizzini, D.L.; Aleotti, J.; Caselli, S. An underwater stereo vision system: From design to deployment and dataset acquisition. In Proceedings of the OCEANS 2015-Genova IEEE, Genova, Italy, 18–21 May 2015; pp. 1–6.
  134. Deng, Z.; Sun, Z. Binocular camera calibration for underwater stereo matching. Proc. J. Physics Conf. Ser. 2020, 1550, 032047. [CrossRef]
  135. Chen, W.; Shang, G.; Ji, A.; Zhou, C.; Wang, X.; Xu, C.; Li, Z.; Hu, K. An overview on visual slam: From tradition to semantic. Remote Sens. 2022, 14, 3010. [CrossRef]
  136. Bonin-Font, F.; Cosic, A.; Negre, P.L.; Solbach, M.; Oliver, G. Stereo SLAM for robust dense 3D reconstruction of underwater environments. In Proceedings of the OCEANS 2015-Genova IEEE, Genova, Italy, 18–21 May 2015; pp. 1–6.
  137. Zhang, H.; Lin, Y.; Teng, F.; Hong, W. A Probabilistic Approach for Stereo 3D Point Cloud Reconstruction from Airborne Single-Channel Multi-Aspect SAR Image Sequences. Remote Sens. 2022, 14, 5715. [CrossRef]
  138. Servos, J.; Smart, M.; Waslander, S.L. Underwater stereo SLAM with refraction correction. In Proceedings of the 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems IEEE, Tokyo, Japan, 3–7 November 2013; pp. 3350–3355.
  139. Andono, P.N.; Yuniarno, E.M.; Hariadi, M.; Venus, V. 3D reconstruction of under water coral reef images using low cost multi-view cameras. In Proceedings of the 2012 International Conference on Multimedia Computing and Systems IEEE, Florence, Italy, 10–12 May 2012; pp. 803–808.
  140. Wu, Y.; Nian, R.; He, B. 3D reconstruction model of underwater environment in stereo vision system. In Proceedings of the 2013 OCEANS-San Diego IEEE, San Diego, CA, USA, 23–27 September 2013; pp. 1–4.
  141. Zheng, B.; Zheng, H.; Zhao, L.; Gu, Y.; Sun, L.; Sun, Y. Underwater 3D target positioning by inhomogeneous illumination based on binocular stereo vision. In Proceedings of the 2012 Oceans-Yeosu IEEE, Yeosu, Republic of Korea, 21–24 May 2012; pp. 1–4.
  142. Zhang, Z.; Faugeras, O. 3D Dynamic Scene Analysis: A Stereo Based Approach; Springer: Berlin/Heidelberg, Germany, 2012; Volume 27.
  143. Huo, G.; Wu, Z.; Li, J.; Li, S. Underwater target detection and 3D reconstruction system based on binocular vision. Sensors 2018, 18, 3570. [CrossRef]
  144. Wang, C.; Zhang, Q.; Lin, S.; Li, W.; Wang, X.; Bai, Y.; Tian, Q. Research and experiment of an underwater stereo vision system. In Proceedings of the OCEANS 2019-Marseille IEEE, Marseille, France, 17–20 June 2019; pp. 1–5.
  145. Luhmann, T.; Robson, S.; Kyle, S.; Boehm, J. Close-range photogrammetry and 3D imaging. In Close-Range Photogrammetry and 3D Imaging; De Gruyter: Berlin, Germany, 2019.
  146. Förstner, W. Uncertainty and projective geometry. In Handbook of Geometric Computing; Springer: Berlin/Heidelberg, Germany, 2005; pp. 493–534.
  147. Abdo, D.; Seager, J.; Harvey, E.; McDonald, J.; Kendrick, G.; Shortis, M. Efficiently measuring complex sessile epibenthic organisms using a novel photogrammetric technique. J. Exp. Mar. Biol. Ecol. 2006, 339, 120–133. [CrossRef]
  148. Menna, F.; Nocerino, E.; Remondino, F. Photogrammetric modelling of submerged structures: Influence of underwater environment and lens ports on three-dimensional (3D) measurements. In Latest Developments in Reality-Based 3D Surveying and Modelling; MDPI: Basel, Switzerland, 2018; pp. 279–303.
  149. Menna, F.; Nocerino, E.; Nawaf, M.M.; Seinturier, J.; Torresani, A.; Drap, P.; Remondino, F.; Chemisky, B. Towards real-time underwater photogrammetry for subsea metrology applications. In Proceedings of the OCEANS 2019-Marseille IEEE, Marseille, France, 17–20 June 2019; pp. 1–10.
  150. Zhukovsky, M. Photogrammetric techniques for 3-D underwater record of the antique time ship from phanagoria. Int. Arch. Photogramm. Remote Sens. Spat. Inf. Sci. 2013, 40, 717–721. [CrossRef]
  151. Nornes, S.M.; Ludvigsen, M.; Ødegard, Ø.; SØrensen, A.J. Underwater photogrammetric mapping of an intact standing steel wreck with ROV. IFAC-PapersOnLine 2015, 48, 206–211. [CrossRef]
  152. Guo, T.; Capra, A.; Troyer, M.; Grün, A.; Brooks, A.J.; Hench, J.L.; Schmitt, R.J.; Holbrook, S.J.; Dubbini, M. Accuracy assessment of underwater photogrammetric three dimensional modelling for coral reefs. Int. Arch. Photogramm. Remote Sens. Spat. Inf. Sci. 2016, 41, 821–828. [CrossRef]
  153. Balletti, C.; Beltrame, C.; Costa, E.; Guerra, F.; Vernier, P. 3D reconstruction of marble shipwreck cargoes based on underwater multi-image photogrammetry. Digit. Appl. Archaeol. Cult. Herit. 2016, 3, 1–8. [CrossRef]
  154. Mohammadloo, T.H.; Geen, M.S.; Sewada, J.; Snellen, M.G.; Simons, D. Assessing the Performance of the Phase Difference Bathymetric Sonar Depth Uncertainty Prediction Model. Remote Sens. 2022, 14, 2011. [CrossRef]
  155. Pathak, K.; Birk, A.; Vaskevicius, N. Plane-based registration of sonar data for underwater 3D mapping. In Proceedings of the 2010 IEEE/RSJ International Conference on Intelligent Robots and Systems IEEE, Osaka, Japan, 18–22 October 2010; pp. 4880–4885.
  156. Pathak, K.; Birk, A.; Vaškevicˇius, N.; Poppinga, J. Fast registration based on noisy planes with unknown correspondences for 3-D mapping. IEEE Trans. Robot. 2010, 26, 424–441. [CrossRef]
  157. Guo, Y. 3D underwater topography rebuilding based on single beam sonar. In Proceedings of the 2013 IEEE International Conference on Signal Processing, Communication and Computing (ICSPCC 2013) IEEE, Hainan, China, 5–8 August 2013; pp. 1–5.
  158. Langer, D.; Hebert, M. Building qualitative elevation maps from side scan sonar data for autonomous underwater navigation. In Proceedings of the IEEE International Conference on Robotics and Automation, Sacramento, CA, USA, 9–11 April 1991; Volume 3, pp. 2478–2483.
  159. Zerr, B.; Stage, B. Three-dimensional reconstruction of underwater objects from a sequence of sonar images. In Proceedings of the 3rd IEEE International Conference on Image Processing IEEE, Santa Ana, CA, USA, 16–19 September 1996; Volume 3, pp. 927–930.
  160. Bikonis, K.; Moszynski, M.; Lubniewski, Z. Application of shape from shading technique for side scan sonar images. Pol. Marit. Res. 2013, 20, 39–44. [CrossRef]
  161. Wang, J.; Han, J.; Du, P.; Jing, D.; Chen, J.; Qu, F. Three-dimensional reconstruction of underwater objects from side-scan sonar images. In Proceedings of the OCEANS 2017-Aberdeen IEEE, Aberdeen, Scotland, 19–22 June 2017; pp. 1–6. 166. Brahim, N.; Guériot, D.; Daniel, S.; Solaiman, B. 3D reconstruction of underwater scenes using DIDSON acoustic sonar image sequences through evolutionary algorithms. In Proceedings of the OCEANS 2011 IEEE, Santander, Spain, 6–9 June 2011; pp. 1–6.
  162. Song, Y.E.; Choi, S.J. Underwater 3D reconstruction for underwater construction robot based on 2D multibeam imaging sonar. J. Ocean. Eng. Technol. 2016, 30, 227–233. [CrossRef]
  163. Song, Y.; Choi, S.; Shin, C.; Shin, Y.; Cho, K.; Jung, H. 3D reconstruction of underwater scene for marine bioprospecting using remotely operated underwater vehicle (ROV). J. Mech. Sci. Technol. 2018, 32, 5541–5550. [CrossRef]
  164. Kwon, S.; Park, J.; Kim, J. 3D reconstruction of underwater objects using a wide-beam imaging sonar. In Proceedings of the 2017 IEEE Underwater Technology (UT) IEEE, Busan, Repbulic of Korea, 21–24 February 2017; pp. 1–4.
  165. Justo, B.; dos Santos, M.M.; Drews, P.L.J.; Arigony, J.; Vieira, A.W. 3D surfaces reconstruction and volume changes in underwater environments using msis sonar. In Proceedings of the Latin American Robotics Symposium (LARS), Brazilian Symposium on Robotics (SBR) and Workshop on Robotics in Education (WRE) IEEE, Rio Grande, Brazil, 23–25 October 2019; pp. 115–120.
  166. Guerneve, T.; Subr, K.; Petillot, Y. Three-dimensional reconstruction of underwater objects using wide-aperture imaging SONAR. J. Field Robot. 2018, 35, 890–905. [CrossRef]
  167. McConnell, J.; Martin, J.D.; Englot, B. Fusing concurrent orthogonal wide-aperture sonar images for dense underwater 3D reconstruction. In Proceedings of the 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) IEEE, Coimbra, Portugal, 25–29 October 2020; pp. 1653–1660.
  168. Joe, H.; Kim, J.; Yu, S.C. 3D reconstruction using two sonar devices in a Monte-Carlo approach for AUV application. Int. J. Control. Autom. Syst. 2020, 18, 587–596. [CrossRef]
  169. Kim, B.; Kim, J.; Lee, M.; Sung, M.; Yu, S.C. Active planning of AUVs for 3D reconstruction of underwater object using imaging sonar. In Proceedings of the 2018 IEEE/OES Autonomous Underwater Vehicle Workshop (AUV) IEEE, Clemson, MI, USA, 6–9 November 2018; pp. 1–6.
  170. Li, Z.; Qi, B.; Li, C. 3D Sonar Image Reconstruction Based on Multilayered Mesh Search and Triangular Connection. In Proceedings of the 2018 10th International Conference on Intelligent Human-Machine Systems and Cybernetics (IHMSC) IEEE, Hangzhou, China, 25–26 August 2018; Volume 2, pp. 60–63.
  171. Mai, N.T.; Woo, H.; Ji, Y.; Tamura, Y.; Yamashita, A.; Asama, H. 3-D reconstruction of underwater object based on extended Kalman filter by using acoustic camera images. IFAC-PapersOnLine 2017, 50, 1043–1049.
  172. Mai, N.T.; Woo, H.; Ji, Y.; Tamura, Y.; Yamashita, A.; Asama, H. 3D reconstruction of line features using multi-view acoustic images in underwater environment. In Proceedings of the 2017 IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems (MFI) IEEE, Daegu, Repbulic of Korea, 16–18 November 2017; pp. 312–317.
  173. Kiryati, N.; Eldar, Y.; Bruckstein, A.M. A probabilistic Hough transform. Pattern Recognit. 1991, 24, 303–316. [CrossRef]
  174. Hurtós, N.; Cufí, X.; Salvi, J. Calibration of optical camera coupled to acoustic multibeam for underwater 3D scene reconstruction. In Proceedings of the OCEANS’10 IEEE, Sydney, Australia, 24–27 May 2010; pp. 1–7.
  175. Negahdaripour, S.; Sekkati, H.; Pirsiavash, H. Opti-acoustic stereo imaging, system calibration and 3-D reconstruction. In Proceedings of the 2007 IEEE Conference on Computer Vision and Pattern Recognition IEEE, Minneapolis, MN, USA, 17–22 June 2007; pp. 1–8.
  176. Negahdaripour, S. On 3-D reconstruction from stereo FS sonar imaging. In Proceedings of the OCEANS 2010 MTS/IEEE, Seattle, WA, USA, 20–23 September 2010; pp. 1–6.
  177. Babaee, M.; Negahdaripour, S. 3-D object modeling from occluding contours in opti-acoustic stereo images. In Proceedings of the 2013 OCEANS, San Diego, CA, USA, 23–27 September 2013; pp. 1–8.
  178. Inglis, G.; Roman, C. Sonar constrained stereo correspondence for three-dimensional seafloor reconstruction. In Proceedings of the OCEANS’10 IEEE, Sydney, Australia, 24–27 May 2010; pp. 1–10.
  179. Zhang, Q.; Pless, R. Extrinsic calibration of a camera and laser range finder (Improves camera calibration). In Proceedings of the 2004 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Tokyo, Japan, 28 September–2 October 2004; Volume 3, pp. 2301–2306.
  180. Kunz, C.; Singh, H. Map building fusing acoustic and visual information using autonomous underwater vehicles. J. Field Robot. 2013, 30, 763–783. [CrossRef]
  181. Teague, J.; Scott, T. Underwater photogrammetry and 3D reconstruction of submerged objects in shallow environments by ROV and underwater GPS. J. Mar. Sci. Res. Technol. 2017, 1, 6.
  182. Mattei, G.; Troisi, S.; Aucelli, P.P.; Pappone, G.; Peluso, F.; Stefanile, M. Multiscale reconstruction of natural and archaeological underwater landscape by optical and acoustic sensors. In Proceedings of the 2018 IEEE International Workshop on Metrology for the Sea; Learning to Measure Sea Health Parameters (MetroSea), Bari, Italy, 8–10 October 2018; pp. 46–49.
  183. Wei, X.; Sun, C.; Lyu, M.; Song, Q.; Li, Y. ConstDet: Control Semantics-Based Detection for GPS Spoofing Attacks on UAVs. Remote Sens. 2022, 14, 5587. [CrossRef]
  184. Kim, J.; Sung, M.; Yu, S.C. Development of simulator for autonomous underwater vehicles utilizing underwater acoustic and optical sensing emulators. In Proceedings of the 2018 18th International Conference on Control, Automation and Systems (ICCAS) IEEE, Bari, Italy, 8–10 October 2018; pp. 416–419.
  185. Aykin, M.D.; Negahdaripour, S. Forward-look 2-D sonar image formation and 3-D reconstruction. In Proceedings of the 2013 OCEANS, San Diego, CA, USA, 23–27 September 2013; pp. 1–10.
  186. Rahman, S.; Li, A.Q.; Rekleitis, I. Contour based reconstruction of underwater structures using sonar, visual, inertial, and depth sensor. In Proceedings of the 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) IEEE, Macau, China, 4–8 November 2019; pp. 8054–8059.
  187. Leutenegger, S.; Lynen, S.; Bosse, M.; Siegwart, R.; Furgale, P. Keyframe-based visual–inertial odometry using nonlinear optimization. Int. J. Robot. Res. 2015, 34, 314–334. [CrossRef]
  188. Mur-Artal, R.; Tardós, J.D. Visual-inertial monocular SLAM with map reuse. IEEE Robot. Autom. Lett. 2017, 2, 796–803. [CrossRef]
  189. Yang, X.; Jiang, G. A Practical 3D Reconstruction Method for Weak Texture Scenes. Remote Sens. 2021, 13, 3103. [CrossRef]
得物的AI在线鉴定怎么实现的？
百态老人的博客
01-08 2154
用户上传商品的多张照片，系统通过高清镜头对商品进行360度全方位拍摄，捕捉商品的纹理、Logo几何形状、工艺等细节特征。这些照片会被输入到AI系统中进行分析。：得物的AI鉴别系统基于多年积累的查验鉴别研究和海量实物商品数据训练而成。该系统整合了数十亿级查验鉴别数据样本和庞大的实物商品数据库，利用细粒度感知、分层注意力机制、神经网络结构搜索等技术，快速分析商品的关键物理特性。：得物建立了覆盖13个消费品类、1500多个品牌、10万多种商品的正品样本库。
得物订单截图模拟器.apk
12-26
一款得物订单截图模拟器，多种模板可选，一键生成，简单快捷，满足你的各种需求，自定义商品信息、价格、收货地址等细节，高度还原真实订单，适用于社交分享、朋友间的玩笑，提升趣味性，本应用仅供娱乐。
得物 APP newSign分析
ff2766958292的博客
03-16 1373
得物、newSign、sign
另类的唯品会和得物比价
yjack007的专栏
02-22 6248
目前得物h5和小程序防爬弄得采集数据很费劲，另辟蹊径做了一款通过模拟器和商家后台方式采集数据的方式，目前实现了跟唯品会的比价。运行界面如下： 输入品牌名称，点击“开始”，表格中左边依次显示唯品会采集的数据，右边会根据采集模式的不同，从安卓模拟器或商家后台采集数据进行对比，确定不同尺码的价格，以及是否有利润，红色表示有利润，绿色表示没有。 支持从excel中导入数据和从唯品会获取数据，excel的数据格式必须保证第二列是货号，第七列是价格。 支持从模拟器和得物商家后台获取得物的价格信息： 模拟器模
得物数据采集
weixin_46348974的博客
04-01 2420
得物商品列表得物商品评价需要私聊。
得物薪资开了，比去年还猛。
沉默王二
01-02 3175
串行化是最高的隔离级别，通过强制事务串行执行来避免并发问题，可以解决“脏读”、“不可重复读”和“幻读”问题。TCP 是面向连接的，而 UDP 是无连接的。TCP 就像是打电话一对一私聊，UDP 就像是拿个大喇叭在广播（😂）。在数据传输开始之前，TCP 需要先建立连接，数据传输完成后，再断开连接。这个过程通常被称为“三次握手”、“四次挥手”。UDP 是无连接的，发送数据之前不需要建立连接，发送完毕也不需要断开，数据以数据报形式发送。
Compareprice多平台跟得物比价
yjack007的专栏
06-03 9551
目前已经更新到1.3.0版本，支持线下店、唯品会和京东跟得物的比价，比价采用的是从模拟器上的app进行界面操作获取不同尺码的价格数据，目前支持夜神、雷电和网易等多款模拟器。
得物商品详情接口
weixin_38821240的博客
05-23 1872
=====================有需要可以联系(昵称)2023-06月份最近得物无风控详情接口。目前已经封装好接口，可以提供。
得物星云系统技术架构浅析
琪琪的博客
05-21 2238
DASS 层服务对外提供各种通用能力，APASS 层服务作为 DASS 层服务的底部支撑服务，不对外提供接口服务，属于星云内部能力，这样划分是为了让每个服务的能力边界和服务分层更加明确，也能缩小应用接口访问权限的管理，只有 DASS 层服务才需要接口权限申请。圈选 check 服务应对不同场景时使用了不同的数据层，有 hbase、redis、es 等，不同数据层都有自己的特点，不同场景的读写流量以及底层数据量是不一样的，选择合适的数据层很重要。
2023秋招得物面经 8.31总结
zj5566778899的博客
08-31 3458
1.数据结构中有哪些树 　　 2.OSI7层网络，每一层具体做什么的 　　 3.HTTP和HTTPS的区别 　　 4.有哪些方式做多线程开发，需要注意哪些点 　　 5.线程用一次就创建一次，然后销毁，怎么解决 　　 6.IOC和DI 　　 7.Set 怎么去保证去重的 　　 8.Set 里面保存的是一个自定义的对象的话，对象应该有什么动作？ 　　 9.Redolog和Binlog区别
我在得物的这两年
面向生活编程
06-10 2982
这篇文章非常简单，和大家简单聊聊我在得物的这两年，也是从学生到社会人的这两年。
面试题得物1
08-08
【面试题得物1】涉及了众多IT领域的知识点，涵盖了Java、Kafka、RocketMQ、MySQL、Redis、算法和分布式等多个方面。以下是这些知识点的详细解释： 1. **数据库索引结构**：索引是数据库管理系统中用于提高查询速度...
唯品会得物商品比价工具
02-22
"唯品会得物商品比价工具"是一个用于比较唯品会与得物平台上同类商品价格的应用程序。这个工具利用了编程技术来自动化获取并分析两个电商平台上的商品价格，帮助消费者做出更明智的购物决策。以下是一些相关知识点：...
得物小程序sign参数加密方法
09-01
得物小程序sign参数加密方法 可以供大家学习但是不能用于非法用途，否则后果自负
微信小程序开发项目实例-得物的租借平台代码(源码).rar
05-21
在这个“微信小程序开发项目实例-得物的租借平台代码”中，我们将深入探讨如何利用微信小程序的开发工具和框架构建一个类似得物的租借平台。 首先，我们需要了解微信小程序的基础架构。它采用了JavaScript作为主要...
【论文阅读】针对BEV感知的攻击
博客标题不能为空我也没办法
05-17 927
针对BEV感知的攻击，利用贴图对基于BEV的目标检测算法进行攻击
25、DeepSeek-R1论文笔记
weixin_44986037的博客
05-17 956
DeepSeek-R1论文笔记
【论文阅读 | AAAI 2025 | FD2-Net：用于红外 - 可见光目标检测的频率驱动特征分解网络】
最新发布
berling00的博客
05-18 1477
红外 - 可见光目标检测（IVOD）旨在利用红外和可见光图像中的互补信息，从而提升复杂环境下检测器的性能。然而，现有方法往往忽略互补信息的频率特性，例如可见光图像中丰富的高频细节和红外图像中有价值的低频热信息，这制约了检测性能。为解决这一问题，提出了一种新的用于 IVOD 的频率驱动特征分解网络 FD2-Net，该网络能有效捕捉跨多模态视觉空间的互补信息所具有的独特频率表示。
26、思维链Chain-of-Thought（CoT）论文笔记
weixin_44986037的博客
05-17 1117
思维链Chain-of-Thought（CoT）论文笔记
与Prediction and risk assessment of extreme weather events based on gumbel copula function类似的文献
03-01
以下是与“Prediction and risk assessment of extreme weather events based on gumbel copula function”类似的文献推荐： 1. "Multivariate Extreme Value Theory for Risk Assessment" by Alexander McNeil, Rüdiger Frey, and Paul Embrechts. This book provides a comprehensive overview of multivariate extreme value theory and its applications to risk assessment, including the use of copulas. 2. "Spatial dependence in extreme precipitation: A copula-based approach" by Claudia Tebaldi, Michael B. McElroy, and Laurent A. Bouwer. This paper discusses the use of copulas to model the spatial dependence of extreme precipitation events, and demonstrates the usefulness of this approach for risk assessment and prediction. 3. "A comparison of copula-based and traditional frequency analysis methods for extreme rainfall estimation" by Jian Liu, Hong Guan, and Xiaoguang Wang. This paper compares the performance of copula-based and traditional frequency analysis methods for extreme rainfall estimation, and provides insights into the strengths and weaknesses of each approach. 4. "Copula-based approach to modeling extreme wind speeds and gusts" by Xing Yu and Lulu Liu. This paper presents a copula-based approach for modeling extreme wind speeds and gusts, and shows how this approach can be used for risk assessment and prediction. 5. "Estimating the probability of extreme floods using copula-based bivariate frequency analysis" by Tae-Young Kim and Seungho Lee. This paper proposes a copula-based bivariate frequency analysis method for estimating the probability of extreme floods, and demonstrates its effectiveness using real-world data.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

周末不下雨

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值