遥感在海洋快速监测中的应用
海上快速监测的遥感技术
马尔科·雷贾尼尼 1,*,马尔科·里吉 1,马尔科·坦普奇 1,安杰丽卡·洛杜卡 2,克拉拉·巴丘 2,路易吉·贝迪尼 1,安德烈亚·德里科 2,克劳迪奥·迪保罗 3,安德烈亚·马凯蒂 2,马西莫·马尔 丁内利 1,科斯坦佐·梅尔库里奥 3,埃马努埃莱·萨莱尔诺 1和布鲁诺·齐齐
1意大利国家研究委员会信息科学与技术研究所,意大利比萨561242意大利国家研究委员会信息学与远程 通信研究所,意大利比萨561243 Mapsat有限公司,意大利贝内文托821004 SisTer有限公司,意大利比 萨56021*通讯作者:marco.reggiannini@isti.cnr.it;电话:+39‐050‐621‐3469
收到日期:2019年5月28日;接受日期:2019年6月26日;发布日期:2019年6月28日
摘要
本文的主要目的是描述一个专用于海域监视的软件平台,该平台能够检测和识别非法海上交 通。该平台源于一系列图像处理算法的级联流水线,这些算法输入由星载传感器捕获的雷达或光学 影像,并尝试识别场景中的船舶目标,并提供有关其形状和运动的定量描述符。该平台具有创新性, 因其在其架构中集成了异构数据和数据处理方案,旨在通过唯一且完全自动化的处理链来识别航行 中的船舶。更详细地说,处理链包括:(i)在输入地图中检测目标船舶;(ii)估计每艘船舶最具 描述性的几何和散射特征(针对雷达图像);(iii)估计每艘船舶的运动学参数;(iv)预测每艘船 未来航线;以及(v)在专用webGIS界面中对结果进行可视化。所构建的平台代表了一种对抗非法 捕鱼、应对非正常移民及相关走私活动的新工具。
关键词 :海上态势感知系统;海域监视;合成孔径雷达传感;光学传感;船舶检测;图像分割;图 像分类;尾迹检测与分析;船舶航线预测;webGIS界面
1. 引言
海上交通由全球每天航行的60万艘船舶组成。这一庞大的船舶网络在监控和及时实施应对措施方 面带来了严峻挑战。运行于太阳同步低地球轨道(LEO)的卫星任务每日提供关于海面状态的多源遥 感数据,且具有不同的分辨率。这些信息在船舶交通监控中发挥着关键作用,因为遥感数据能够提供 有关船舶主要特征、其独特几何结构甚至运动学的信息。
本文所关注的主要目标是描述一个专门用于海域监视的平台,该平台能够检测和识别海上船舶。
该平台负责收集和整合多源多传感器卫星任务针对特定关注海域提供的数据。高分辨率数据由当前在 轨运行的任务提供,例如欧洲航天局(ESA)哥白尼哨兵、ISI‐IMAGESATEROS‐B以及意大利航天 局(ASI)COSMO‐SkyMed星座。这些数据经过处理,以检测和识别关注区域内的船舶,并提供有 意义的特征估计值,如形状和运动学参数。
海洋科学与工程杂志2019,202,7;doi:10.3390/ j mse202070007 www.md p i.com/ j ournal/ j mse
海洋科学与工程杂志2019,202, 7 2/24
所实现的平台被设计为一个顺序处理流程,每个步骤针对特定任务,旨在提取有意义的信息(见 图1)。首先,输入雷达和光学图像由一个专用算法进行处理,该算法尝试区分海杂波、噪声背景以及 可能揭示船舶存在的异常信号。此过程的输出是一组子图集合,每个子图均被裁剪以仅包含单个目标。
随后,每个这样的子图被送入船舶分割模块,该模块负责精确定位属于目标的像素。因此,该操作可 提供有关目标的附加信息,例如其总长度、总宽度和航向(可能估计至 180◦模糊范围内)。后一模块 提供的几何和形态信息还可通过检查船舶周围水面进一步丰富。事实上,已知船舶在水中航行会产生 尾迹模式,其特有的视觉特征直接取决于船舶运动学。特别是,通过检测主要尾流成分的线性包络并 对可观测振荡进行频率分析,可以分别唯一地估计船舶航向和船舶速度模量。所估计的船舶几何参数 和运动学信息随后被用于预测船舶行为。基于统计方法,该任务利用从以往捕获任务中收集的历史数 据,并用于训练专用多分类器。相应的输出是每个船舶在图像捕获时间之后的给定延迟内出现在特定 区域的存在概率。然后将感兴趣区域(AoI)内表面上协作的船舶发送的可用(真实或伪造)自动识 别系统(AIS)消息与上述估计值集成,构建船舶航路预测(SRP)系统,用于预测已识别船舶的下 一位置。最终,所有处理结果被集成到webGIS界面中,使用户能够轻松访问并可视化平台的输出产 品。
海洋科学与工程杂志2019,202, 7 24中的 3
本文其余部分安排如下。第2节概述了当前海上监控平台的研究现状。第3节简要介绍了所提出 的平台。第4–7节详细讨论集成到平台中的各项处理技术,第8节描述用于数据集成和可视化的 WebGIS基础设施。第9节展示了在欧洲空间局资助的OSIRIS项目框架内对该平台的实际实施。第 10节总结全文,概括主要成果并探讨可能的未来发展。
2. 相关工作
海上监视主题在先前的国际项目框架内已得到研究人员的广泛关注。以下简要总结了一些实例。
DOLPHIN(高度创新海上监视能力的准业务服务开发)[1]是一项欧盟研发项目,旨在改进基 于空间的海上监视技术,以支持边境监视、交通安全和渔业管控领域的活动。NEREIDS[2](集成 与先进海上监视的新服务能力)是一项由欧盟资助的项目,旨在提供欧洲海洋政策与海上监视的综合 愿景。具体目标是增强欧洲船舶自动监控能力,并提供先进的决策工具。SIMTISYS[3](运动目标指 示系统模拟器)项目专注于小型船只的探测与跟踪。为此,已实现了一种运动目标指示系统的模拟器,
旨在提供一种通用工具,用于监视海上边界,特别是海上航线与交通以及污染管理。PERSEUS[4]
(面向政策的南欧海域环境研究)是一项研究项目,旨在评估人类活动和自然压力对地中海和黑海的 双重影响。PERSEUS融合了自然科学和社会经济科学,以预测这些压力对海洋生态系统的长期影响。
该项目的目标是设计一个高效且创新的研究治理框架,为政策制定者遏制海洋生物退化提供依据。
AMASS(自主海上监视系统)项目[5]致力于广阔的关键海域的观测与安全,以减少实际和潜在的非 法移民以及毒品、武器和违禁品走私。该监视系统由自主无人监视浮标组成,配备主动与被动传感器, 例如通过宽带无线电联网的非制冷热成像仪和水听器阵列。AMASS代表了一种可在海上边境监视框 架内由机构参与者利用的工具。
所有这些项目旨在实施工具,以改进在不同关键情况下的远洋船舶检测与监控,例如非法贩运与 移民、渔业管控和海盗行为。本文提出创新解决方案,以增强和丰富与海上监视相关的一些关键任务。
具体而言,以下章节介绍了关于精细化的船舶检测与分割、先进的船舶运动学评估方法以及预测船舶 航线的分类算法。
2.1. 船舶检测与分割
船舶检测的目标是识别捕获图像中与舰船目标相关的像素。这一任务在以往的文献中已被广泛讨 论。一种基于遥感输入图像实现船舶检测器的流行方法,旨在采用能够为预筛选阶段提供高计算速度 的解决方案。在这方面,通常会忽略精细的统计考虑,而倾向于采用基于简化统计假设和固定最高误 报率的全自动快速检测器,例如恒定虚警率(CFAR)检测器。这些检测器通常作用于单通道强度图 像,通过对每个像素强度与其周围特定区域像素强度进行统计检验来实现检测。
海洋科学与工程杂志2019,202, 7 24中的 4
邻域。在成像范围非常广阔且交通状况繁忙的区域,产生的误报数量通常过多,难以通过人工方式全 部排除[6]。判别旨在利用数据本身或某种先验知识,或两者结合,自动或仅需最少人工干预来剔除这 些误报。由于某种形式的恒虚警率检测似乎是预筛选的实际标准,因此本文将任何能够优化其输出的 方法均视为判别算法。文献中通常采用极化测量或干涉测量来进行判别[7–9]。此外,一些作者建议对 极化数据的分析增加一个分割步骤[10–12]。在[10,11,13],中,作者声称相较于[12]中讨论的分解技术 有所改进。该改进通过更精确地考虑目标的相干与非相干散射实现,在某些条件下还可用于估计船舶 纵倾与横摇角度。作者明确指出,该方法可能对分类和识别具有应用价值。随后,他们关于对称散射 的另一种表示方法[14,15]被证明等价于[12]中所描述的方法。在[16]中,作者提出了一种基于单视复 图像的方法,用于从极化合成孔径雷达数据中检测点目标。从我们的角度来看,这是分类与识别的初 步步骤。Crisp在其对完整合成孔径雷达船舶检测系统的详尽描述中[17]报告了一项实验,使用星载 双极化合成孔径雷达获取了更丰富的目标样本,并通过目视分析和自动识别系统进行地面实况验证 [18]。结果表明,HH与HV通道的组合可产生最可靠的结果。在[19],中,提出了一种基于多视极化 通道强度的检测器。为这些数据设计恒虚警率检测器时,必须推导出适用于多视图像的特定统计模型。
作者提出了G0分布[20]作为强非平稳海杂波的有效选择。在[21],中,提出了一种针对恒虚警率检测 器检测到的目标的判别方法,该方法融合了标记目标的HH通道以及由目标分解得到的两个特征:双 平面与螺旋因子。该方法也可作为目标分类方法的基础,性能优于k均值聚类和陷波滤波等传统策略。
机载合成孔径雷达上的实验验证了作者的结论。
通过对四种运行检测系统的性能比较,上述作者在[22]中认可了由于对前述特定SAR量进行分析 而在船舶检测方面取得的所有进展。然而,这些作者承认,一些残余缺陷仍使该应用容易受到杂波、 强散射体、旁瓣和不规则海岸线所导致的显著模糊性影响。由于所分析的算法对不同模糊性表现出不 同的行为,这些作者提出了一种基于不同检测器的投票机制,以改善检测性能。测试在包括JRC’s SUMO[23],在内的不同检测器上进行,针对RADARSAT‐2和COSMO‐SkyMed数据(参见[24–26]中 的相应研究)。预筛选与判别之间的界限并不十分清晰。由于预筛选旨在快速而粗略,而判别则更慢 但更准确,因此可根据速度和准确性进行区分。然而,合适的判别算法应作用于由预筛选中检测到的 目标及其邻近区域组成的小面积感兴趣区域,而不参考图像其余部分。值得一提的是,欧洲空间局提 供了开源软件工具箱SNAP[27],,该平台提供了合成孔径雷达信号处理中最相关的程序,其中包括一 个基于恒虚警率的船舶检测器的实现,这正是本文所述方法的起点。
2.2. 船舶运动学估计
已经提出了多种方法来解决通过合成孔径雷达成像系统获取的船舶运动运动学参数估计问题。先 前的研究[28]对船舶在水中航行时产生的尾迹模式背后的物理机制提供了准确描述。这种模式与船舶 相对于海面的速度直接相关,并在合成孔径雷达图像中通过与船舶和卫星平台的地速速度矢量相关的 特征表现出来。由于尾流的形态特征与船舶运动直接相关
海洋科学与工程杂志2019,202, 7 24分之 5
(参见[29,30]),一种流行的运动学估计方法是通过检测并随后分析船舶产生的尾流模式。由于尾流 模式主要呈现为V形结构,许多研究提出了基于初步识别尾流形状中线性包络的尾流检测方法。
Zilman等人[31]提出了一种基于快速离散拉东变换的方法,用于检测从尾流尖端起始并沿尾流形状 延伸的线性段。Eldhuset[32],采用了类似的方法,并引入了基于切比雪夫多项式逼近的拉东变换近 似阶段。该方法提高了检测器在可靠性和鲁棒性方面对抗误报的能力。一旦检测到主要尾流成分的线 性包络,便可对后向散射信号进行分析以提取相关信息。特别是可以根据例如[33–35],的作者所述, 通过对检测出的线性区域内观察到的信号变化进行适当分析,来估计船舶航向和船舶速度。
2.3. 船舶航线预测
航线预测问题已在不同领域得到研究,涉及多种类型的车辆,如城市车辆(例如汽车或公共汽车) 和船舶。对于城市车辆而言,所有航线预测算法均基于GPS、Wi‐Fi或蜂窝网络提供的原始数据进行 处理;而对于船舶,则处理自动识别系统报文。无论哪种情况,这些方法都依赖于概率方法,即根据 历史航线来预测未来航线。船舶航线预测(SRP)算法可分为两类:基于点的[36–38],仅预测下一步, 且仅适用于小型船舶;以及基于轨迹的[39,40],可预测完整轨迹的方法。Pallotta等人[41]提出了一
种混合的轨迹与点混合方法,称为TREAD(异常检测交通路线提取)。完整的SRP算法综述可在[42]
中找到。
3. 平台主要特征
由星载传感器捕获的合成孔径雷达(SAR)和光学图像的分析计算流程构成了所提出平台的核心。
本节按照操作流程顺序进行了全面概述(图2)。
海洋科学与工程杂志2019,202, 7 24中的 6
所使用的图像数据集涉及马耳他岛的东南侧,包括:(i)合成孔径雷达哨兵1A和B图像,像素分 辨率约为10米;(ii)2016年至2018年期间持续获取的大规模EROS‐B光学影像,其像素分辨率通常 低于1米;(iii)若干CSKH图像GEC级影像,像素分辨率为2.5米。该异构数据集的获取还旨在对不 同空间分辨率和输入数据质量下平台处理结果的质量进行比较。
搭载合成孔径雷达传感设备的卫星(Sentinel和CSK)沿太阳同步轨道(SSO)运行,其过赤道 时间接近黎明/黄昏时间,沿着昼夜之间的晨昏线飞行。EROS‐B图像在白天拍摄,大约在当地正午时 间之后一小时。因此,每天只能同步获取一次数据。
在实际的船舶检测流程之前,需进行预处理阶段,以识别属于陆地区域的图像子集,并将其排除 在后续处理之外。这一过程有时通过使用海岸线存档数据完成,但这些数据可能不足以确保适当的陆 地掩膜效果。例如,在近岸区域,这些存档数据的准确性可能不足,而该区域陆地轮廓形状复杂,包 含许多小岛屿、裸露的岩石结构或近期建造的人工设施,如港口混凝土或石质丁坝。在本例中,首先 收集了基于电子航海图(ENC)的海岸线数据以及类似的开放街道地图(OSM)数据。然后,计算一 个包含自然和人造物体的“缓冲区”范围。最后,通过将该缓冲掩膜与GIS软件中可用的多个合成孔 径雷达和光学真实地图进行叠加,手动检查缓冲掩膜的质量。利用所得的陆地掩膜数据,在应用船舶 检测器之前对几何校正后的合成孔径雷达和光电图像进行掩膜处理。采用所提出的处理流程后,新型 人造物或复杂的自然地物等关键陆地目标均被有效掩膜,从而提高了船舶检测器在应对误报方面的鲁 棒性。此外,由于获取的海区图像存在不准确的地理定位问题,特别是EROS‐B光电图像更为明显, 因此缓冲处理步骤也是必要的。例如,我们观察到即使是高精度的1B级图像,也可能出现超过50米的 位移。
本研究涉及的感兴趣区域(ROI)位于西西里岛南部,包括佩拉杰群岛、潘泰莱里亚和马耳他岛。
在陆地掩膜过程中,海岸线矢量文件被设置了约100米的缓冲区,从而有效排除了新的人工建筑或自 然物体。如上所述,该操作可确保较低的虚警率,但需要指出的是,检测邻近、近岸或港口船只并非 所提出的平台的主要目标,该平台主要是为开阔海应用情景而设计的。
在本文提出的实验条件下,利用自动识别系统作为基准来评估所提出平台的质量。特别是,如第 6和7节更详细描述的那样,自动识别系统代表了用于测试我们程序结果准确性的真值来源。自动识别 系统还代表了一种数据来源,用于构建训练集和测试集,以供第7节中讨论的船舶航线预测学习算法 使用。
然而,我们提出的海上监控平台还旨在提供一种解决方案,以应对在识别特定船舶类别(如非合 作船只)时出现的问题。事实上,在上述情况下,自动识别系统可能容易受到恶意伪造的影响,从而 可能使非合作船只得以隐藏任何非法活动。我们的系统旨在提供一个可靠工具,用于识别那些通过当 前可用系统无法正确监控的船舶,并进一步提供有意义的信息,以增强相关操作员在观察特定海域时 的情势感知能力。
4. 船舶检测
在海上态势感知系统中,对大范围海域内人造物体的探测及后续计数是主要关注点。高分辨率和 甚高分辨率遥感
海洋科学与工程杂志2019,202, 7 24分之7
sensing imagery[43,44]是船舶检测的重要数据源。合成孔径雷达和光电图像均提供由航天器传感器 探测到的船舶地理定位信息。本文采用的方法模拟了人类在图像中搜索细节特征时的行为。在扫描过 程中,人眼倾向于忽略无特征区域,而将更多精力集中在更复杂区域的分析上。同样,所实现的检测 器处理大面积海洋区域的输入地图,并返回从原始地图裁剪出的、代表潜在目标的图像块。这些图像 块结合从辅助数据中提取的附加信息(传感时间、几何分辨率、辐射分辨率、航天器位置和运动学), 最终提供给后续处理步骤。
在检测为正的情况下,输出的裁剪区域是初始图像的子集,限定在仅显示一个候选船舶的感兴趣 区域(AoI)内。
适用于SAR图像的检测方法在很大程度上依赖于图像特征,例如空间和辐射分辨率、相干性、视 数、发射和接收极化方式等。本文提出的检测器能够在无需人工干预的情况下运行,因为它能够检测 任意输入地图中的潜在船舶信号,并最终返回一个包含所检测候选目标估计地理坐标的输出数组。对 于哨兵1A/B和COSMO‐SkyMed数据,检测过程是完全自动化的。仅在最后阶段需要操作员检查由幻 影和/或方位模糊引起的高辐射异常。如第2.1节所述,所提出的船舶检测器借鉴了文献中常见的基于 恒虚警率的算法。实际上,[6,45],一个合适的滑动窗口(见图3)依次以每个测试像素为中心。该窗 口由测试像素的邻域组成,称为保护区域,用于包含可能包含测试像素的任何目标;另一个邻域称为 边界数组,仅包含背景像素,用于估计背景统计特性。基于恒虚警率的船舶检测存在一些值得关注的 薄弱环节。检测任务的成功概率主要取决于边界数组窗口大小的合理设置。增大该窗口通常会降低重 复检测率,特别是在大目标(通常大于400米,例如大型油轮)的情况下。同样,所选择的虚警概率 值显然会影响检测器性能。这些参数的合理配置通常需要在虚警率和重复检测率之间进行权衡,同时 考虑最终用户的具体需求。在实际应用场景中,检测器应采用半自动化方式使用,即包含少量人工干 预,以排除残余的误报。幻影和方位模糊可能导致误检。由于恒虚警率参数是在分析大量测试输出后 选定的,因此检测过程实现了完全自动化。
海洋科学与工程杂志2019,202, 7 24中的 8
就我们的目的而言,我们发现对于哨兵‐1A和B数据,保护区域大小与边界数组区域大小之比约为 1:10时是一个较好的折中选择。CFAR准则是自适应阈值方法:一旦设定所需的虚警概率,背景概率 密度函数f(x)(其中x为像素值)即被假设为参数已知或通过边界数组中的值进行估计。此时,虚警概 率PFA由下式给出
PFA= ∫ ∞ T f(x)dx (1)
因此,对于滑动窗口的每个位置以及任何固定的虚警概率PFA值,通过求解公式(1)得到的T值 可作为阈值,用于判断测试像素是否属于目标。如果假设f(x)为高斯分布,则公式(1)是著名的双参 数CFAR检测器的基础。我们实现了一种基于单元平均方法的恒虚警率检测器。在本例中,阈值T针 对每个像素(也称为待测单元(CUT))进行自适应调整,其计算方式如下
T= α × Pn
其中Pn是通过边界阵列单元的平均值估计的噪声功率, α是通过以下公式计算的阈值因子[46]:
α= N ×(PFA−1/N −1)
其中N为训练单元的数量,PFA为期望的虚警率。
显然,为了从这类测试中获得高检测概率,必须在虚警概率上做出权衡。这就是为什么高检测概 率的预筛选方法尽管速度很快,但通常会受到高虚警率的影响。
所提出的平台中包含的船舶检测模块提供了两种处理选项。一种是欧洲空间局SNAP®[47]软件 套件中的经典实现,另一种是MAPSAT提供的新型基于CFAR的实现,其中背景被建模为厄兰分布信 号([48–50])。值得注意的是,MAPSAT的实现在虚警和重复检测率方面具有更高的可靠性。
最终,后处理阶段生成了GeoTIFF格式的辐射和几何分辨率裁剪文件,用于进一步的分类分析。
目前,该算法估计一个以目标质心为中心的尺寸框,并利用此结果对原始全辐射图像进行最优裁剪。
裁剪窗口为正方形,以检测到的目标为中心,并沿南北方向排列。裁剪窗口的边长为船舶长度的三倍 (经验选择)Ls。为了给后续处理步骤提供合适的坐标系,已从通用横轴墨卡托坐标系转换为纬度/经 度。
本研究用于测试的感兴趣区域覆盖南地中海,包括西西里岛、突尼斯和利比亚。该区域内的若干 石油平台被船舶检测模块识别,并通过一个额外的处理步骤从船舶检测报告中排除。这一精细筛选过 程通过集成在算法中的专用几何滤波器实现,该算法负责与AIS数据进行匹配。
5. 船舶分割
在关注区域内识别视觉属性可以突出数据中的相关信息。应用成像算法来提取几何和辐射特征, 这些特征可提供关于船舶形态、几何结构和动态的有意义信息。合成孔径雷达图像常受到海杂波、频 谱泄漏或天线旁瓣引起的失真影响。这些失真可能掩盖目标图像,从而妨碍对船舶尺寸的评估。一个 例子是
海洋科学与工程杂志2019,202, 7 24中的 9
这类失真的示例显示在图4的合成孔径雷达强度关注区域图像中,其中明显的存在一个强烈的十字形 伪影。
为了识别属于船舶目标的像素集合,开发了一种新的专用分割技术SISS(空间船舶图像分割1)。
SISS可接受多传感器输入数据,例如合成孔径雷达和光学图像。对于合成孔径雷达图像,该算法处理 后向散射信号以寻找强反射体,这些强反射体在图像中表现为亮斑。一个明亮连通区域将被纳入进一 步分析,因为它可能与潜在的船舶相关。此外,对于光学图像,该算法会寻找相连的异常区域。
我们流程的第一步是构建一个二值形状,其中目标像素被设为1,其余像素被设为0。二值目标的 初步近似通过自适应阈值分割实现。所选择的阈值是基于整个输入图像I计算得到的标准差 σ的倍数:
Ti= i · σ; i= 1, 2, 3,… (2)
整数倍数i被迭代选择。在第i次迭代中,阈值分割操作生成一幅二值图像Ii;该过程在最小整数 ib处停止,此时Iib为空白矩阵。最终输出由Iib−1中找到的非空像素集给出。这些像素通过形态学算子 进行处理,提取出可能被分组在一起的连通分量[51]。然后,应用椭圆拟合来估计船舶轴线及其方向。
图5a–g表示迭代阈值分割过程,而图5h表示分割过程的结果,对应于倒数第二次阈值分割迭代。
阈值分割后,通过裁剪船舶及可能伪影所在掩膜外的图像来分离目标。接下来的步骤是通过对相 对于阈值分割后图像质心计算的二维惯性张量进行特征值分析,以确定主惯性轴[52],。然后,在质心 周围应用一个矩形掩膜,以包含整个目标的同时去除部分伪影。通过多次迭代此过程,可以逐步精确 估计总长(LOA)、总宽(BOA)和航向(见图6)。实际上,当不再裁除伪影时,我们将最小惯性 轴的单位向量作为估计的航向,并将目标边界点沿主轴方向的最大距离作为估计的LOA和BOA。在缺 乏其他信息的情况下,
1 htt ps://tin y url.com/ y 7uruz j u.
海洋科学与工程杂志2019,202, 7 24中的 10
例如检测到的尾流或可能的船舶形态特征,航向的估计存在180◦ ambiguity。
6. 船舶运动学估计
所提出的船舶运动学估计模块实施图像处理流程,以提供有关船舶运动学[31,53]的见解。
尾迹模式由多个振荡分量组合而成,其叠加结果在船舶航路轴周围呈现出V形包络。该V形的角 度孔径约为 39◦。利用这些可观测现象,可通过基于Radon变换的线性检测器首先检测V形模式(图 7),然后识别尾迹中心轴,从而估计航路方向。
在尾流外部边界观察到的振荡分量的波长与船舶本身的速度相关。因此,只要图像分辨率足够高, 能够观测到这些尾流细节,对外部尾流成分进行频率分析即可估计出主导波长 λ。船舶相对于海面的 速度v,最终通过以下表达式估算得出[31]:
v= √√3gλ 4π
(3)
其中g= 9.81m/s2。
由卫星和船舶对地速度结合合成孔径雷达成像的特性所导致的第二个效应是方位偏移,表现为重 建图像中运动中的船舶与其尾流之间的人为分离。该分离长度 ∆as与船舶速度成正比,关系如下表达 式[32]:
v=
Vsat ·∆as Rsr cos β
(4)
其中Vsat为卫星速度,通常包含在输入图像附带的轨道元数据中;Rsr为卫星到目标的斜距,在计算 出目标的地理坐标后可轻易获得(见第4节);而 β为船舶速度矢量与传感器方位方向之间的角度, 可通过估计的尾迹中心轴近似确定。因此,可通过直接在SAR图像上测量分离长度来获取船舶速度。
我们的运动学估计程序主要关注:(i)检测尾流的线性包络以估计船舶航向;以及(ii)通过公 式(3)和(4)来估计船舶速度。
遗憾的是,船舶尾流并不总是可见的,或过于微弱而难以检测。通常由于信噪比极低,尾流检测 是一项成功概率很小的任务。已有多种方法被提出(例如,[54,55]),以改善通过经典方法(例如, 直接在强度图像上应用拉东/霍夫变换)所获得的较差结果。受[32,56],作者的启发,我们提出了一种 通过SAR图像处理来检测和分析尾流模式的新方法。首先,通过专用程序计算输入图像I的梯度,采 用一种特定的方法
2 COSMO‐SkyMed产品—©意大利航天局2016年,经意大利航天局(AgenziaSpazialeItaliana)授权处理。保留所有权利。
由e‐GEOS分发。
海洋科学与工程杂志2019,202, 7 24中的 12
适用于受斑点噪声影响的数据,例如合成孔径雷达图像。假设中心/外围尾迹区域的线性包络代表 SAR图像中主要可观测的尾流特征,所估计的梯度输入至基于拉东变换的算法,该算法旨在检测这些 线段。最终,算法返回关于是否存在尾迹模式的决策。该最终决策依据所检测到的线段的具体排列方 式得出。更多细节可参见[57]。在检测结果为正的情况下,相应的尾迹模式将被识别,并利用其相关 特征来估计船舶的航路和速度参数。
处理流程执行的一个示例如图8所示。包含一个船舶候选目标的合成孔径雷达输入图像经过所提 出的尾流检测器处理,成功识别出中心湍流带和一条外部尾流臂。这使得能够估算方位偏移,进而估 算出相应的船舶速度。尾迹模式的成功检测还使我们能够将分析集中在尾流的外围区域,并通过谱估 计技术(例如,参见[58])评估谱中是否存在主导波长。最终,能够为图8中的候选目标提供航线和 速度的估计结果。表1列出了通过所提出的估计算法获得的结果以及由商业数据提供商提供的相应真 实数据。
3 COSMO‐SkyMed产品—©意大利航天局2016年,经意大利航天局(AgenziaSpazialeItaliana)许可处理。版权所有。由 e‐GEOS分发。
海洋科学与工程杂志2019,202, 7 24中的 13
| 表1。运动学估计输出。R代表航线,V代表速度。所呈现的速度结果分别对应于方位偏移法(A.S.V.) 和傅里叶分析法(F.A.V.)。 | ||||
|---|---|---|---|---|
| AIS航向(度) | 估计航向(度) | AIS速度(米/秒) | A.S.V.(米/秒) | F.A.V.(米/秒) |
| 290 | 285 | 6.0 | 5.89 | 6.22 |
| ## 7. 船舶航线预测 |
本节涉及对迄今为止获得的数据和结果的利用,旨在预测所考虑目标的航线演变。为此,我们 开发了一种采用基于点的方法的新程序。需要监测的关注区域A被划分为一个m ×n的方形网格,每个 单元格由一对(r,c)标识,分别表示行和列。该(r,c)系统通过对应的地理坐标进行标记(在所展示的结 果中,坐标原点位于格林尼治子午线和赤道(纬度0度))。球面空间按照平板矩形投影进行映射 [59],,其中每个方格的边长为0.01度。我们意识到这种投影方式并非最优,且距离赤道越远变形越大, 但对于本文实验验证所考虑的区域而言,这一问题影响较小。图9展示了关注区域被划分为单元格的 一个示例。
每艘船舶i在集合A中,在给定时间t由一个状态Xt i表示,该状态可通过从自动识别系统( AIS)提取的不同参数进行描述,例如当前纬度和经度、对地速度(sog)、当前航向、船舶类型和船 旗。其他参数也可添加至状态中,例如天气和海况。在本研究中,仅考虑了AIS参数。这并不会导致 通用性损失,因为可扩展性是所提出系统的主要特征之一,且状态数组可根据需要随时更新。sog以 度为单位测量。因此,我们将航向分解为两部分:s= sin(heading)和c= cos(heading)。因此,
Xt i =(latt i,lng t i,sog t i,s t i,c t
7.1. K-近邻分类
给定船舶的当前状态,我们要解决的问题是确定经过一段时间后船舶将进入的下一个单元格。这 是一个多分类问题,其中每个类别对应于网格中的一个单元格。文献中已提出许多用于多分类问题的 算法,例如神经网络、极限学习机、朴素贝叶斯、决策
海洋科学与工程杂志2019,202, 7 24中的 14
树和支持向量机。在本文中,我们提出了一种SRP算法,该算法利用了K‐最近邻(K‐NN)分类器。
K‐近邻分类器可以被视为一个黑箱,它接收一系列特征X=(x1, x2,…,xn)作为输入,并输出类别
标签y。图10展示了一个K‐近邻分类器的示例,该分类器接收两个特征x1和x2作为输入,并返回以下 类别之一作为输出:绿色、橙色或紫色。给定一个训练集T和一个新的输入x=(x1,x2)(在图中用红 色圆点表示),K‐近邻分类器会在T中搜索x的k个最近邻,并从中选择出现频率最高的类别。最高频 类别由基于距离的相似性函数确定。在图10所示的例子中,K− NN分类器对该特定输入x返回的输出 类别为橙色。k值可根据用户需求设定(图中为k= 3)。
7.2. 提出的算法
该算法以船舶的当前状态Xt i作为输入,并输出每个单元格(r,c) ∈A在时间t+ δ后被i占据的概
率。 δ可设置为30、45或60分钟。预测器返回的所有概率值构成概率矩阵Mt+δ i,其大小为m ×n
(见图11)。
SRP流程在概念上可以描述为三个步骤的序列:
•设置从历史AIS数据中构建一个数据集,并随机抽取该数据集的80%作为训练集(剩余的20%构成 测试集)。
•训练会存储30、45或60分钟后的训练状态及对应网格单元。显然,可用AIS数据的良好覆盖是算法 运行的关键条件。在此阶段,还会通过适当的测试集评估训练模型的性能。
•运行时,给定船舶状态,为网格中的每个单元格分配30、45或60分钟后在该单元格发现船舶的概率。
关于上述介绍的各个阶段的详细信息将在下文讨论。
7.3. 设置阶段
设置阶段包括对与关注区域相关的历史AIS数据集进行清理和分析。AIS数据由两个来源提供(精 确地球4和阿斯特拉寻呼5),以降低消息丢失的概率。然而,在大多数情况下,同一条消息被收集了 两次或更多次。事实上,相同消息的重复是一种常见现象,即使在数据来自同一AIS源时也经常观察 到。原始数据集通过实施特定程序去除重复项后,再基于航向和速度值的检查对数据集进行了进一步 的精细筛选。我们自然期望航向值范围在 0◦到 359◦之间,但数据集中许多记录的值超出了此范围,例 如航向等于 511◦(表示无可用信息),因此这些记录被剔除。此外,当AIS记录报告的速度值小于 0.5节(停泊或锚泊船舶)或大于60节(速度过高)时,这些记录也被剔除。这一选择是基于观察结 果:摩托艇的平均最高速度约为30–40节,仅有少数超豪华摩托艇可达到70节的速度。
基于这些数据,生成并处理了新的数据集,称为输入数据集,并使用K‐近邻算法进行处理。具体 而言,对于自动识别系统数据集中的每条记录i,提取其状态Xi qA以及对应的类别yi。需要注意的是, 输入数据集是AIS数据集的一个子集,仅包含具有关联的y的记录。为了将整个AIS数据集纳入输入数 据集,必须采用一些插值技术。我们将此项实现留作未来工作。
每个yi Qa的计算方法如下:首先,从属于AIS数据集的记录i中提取海上移动业务识别码(
MMSI)和日期时间t;然后,在AIS数据集中搜索具有相同MMSI且日期时间为t1的记录j,其中t
+ δ −ε ≤ t1 ≤ t+ δ+ ε,δ ∈[30, 45, 60] min且 ε= δ/3。最后,从记录j中提取纬度和经度,并将其 转换为对应的网格位置(r,c)。在设置阶段结束时,构建了三个输入数据集,每个 δ值对应一个,因此 得到(X,Y)30,(X,Y)45,和(X,Y)60。为了进一步限制搜索范围,该算法本可以引入基于空间距离准则的 附加过滤条件,但由于收集的AIS数据已预先过滤,将搜索区域限制在一个相对较小的关注区域(南 地中海区域),因此该选项被舍弃。船舶搜索基于唯一MMSI标识符,并在空间受限邻域内进行,因 此在搜索过程中不太可能出现与极大空间分离相关的歧义错误。
设置阶段将每个输入数据集划分为训练集和测试集。最初,所有记录都被标记为属于训练集。然 后,设置阶段随机抽取占消息总数20%的消息数量,并将其标记为属于测试集。
4 https://www.exactearth.com/。
5 http://www.astrapaging.com/。
海洋科学与工程杂志2019,202, 7 24中的 16
7.4. 训练和运行阶段
训练阶段使用在设置阶段构建的输入数据集来训练K‐近邻分类器。对于每个输入数据集,都构建 了一个不同的船舶航线预测(SRP)分类器。
模型训练完成后,船舶航线预测(SRP)分类器即可投入使用。在运行阶段,SRP分类器以船舶 在时间t 的当前状态Xi 作为输入,并请求对δ之后的情况进行预测。分类器随后返回关注区域( AoI)中每个单元格(r,c) 在时间t+ δ被该船舶占据的概率矩阵Mt+δ i。
在运行时,所提出的分类器可以通过以下方式访问:(a)命令行工具;(b)WebAPI;或(c) Web应用程序。命令行工具和WebAPI均接收船舶状态作为输入,并返回以GeoJSON格式表示的概 率矩阵([60])作为输出。此外,还可以指定以下参数:纬度、经度、速度、航向和基本类别。基本 类别表示船舶类型,目前可设置为0(小型船舶)或1(大型船舶)。
图12展示了Web应用程序的快照。该Web应用程序将用于训练模型的所有航线显示为网格中的 单元格。用户可以点击关注区域中的一个点,随后预测的单元格会被高亮显示。红色圆圈表示船舶在 给定速度下于所选时间段内能够航行的最大距离。通过简单的界面,用户还可以设置船舶航向、速度 和类型(小型或大型)。
7.5. 将自动识别系统与卫星图像相结合 SRP算法在真实用例中进行了测试:在给定时间提取船舶状态,然后执行船舶航线预测器以预测 该船舶的下一位置,最后将预测结果的正确性与该船舶发送的AIS报文中的数据进行比较。
更详细地说,测试图像由EROS‐B于2016年10月22日12:59:42拍摄。随后,船舶检测器在输入地图中 返回了一个潜在目标(见图13),检测得到的边界框范围为:纬度[33.89,33.91],经度[12.57, 12.67]。
通过在已实现的AIS数据集中执行搜索,识别出一个候选目标,其AIS位置和时间参数相匹配。根 据海上移动通信业务标识码(MMSI),可以从船舶查找门户6获取相关信息。该候选目标被分类为浮 式生产储油卸油装置。将收集到的该船舶的所有信息输入船舶航线预测(SRP)系统,并提交查询以 预测30分钟后船舶的位置。最终,返回的预测结果与AIS数据相匹配。
8. webGIS界面
webGIS界面使普通用户能够访问所提出平台内的多种功能。用户可以:(i)快速查看实时事件; (ii)访问历史信息;以及(iii)提交请求以监控感兴趣的海域。
更详细地说,该界面由两个主要部分组成,即工具栏和地图。工具栏位于webGIS界面的顶部, 包含一组按钮,每个按钮提供以下功能列表中的一项功能:
•搜索:此按钮用于访问AIS历史数据。可通过指定感兴趣时间段、AIS数据类型(陆基或卫星)、船 舶MMSI或船舶类型来设置搜索条件。通过操作专用的时间滚动条,可以以一分钟为时间步长可视化 所请求数据的变化情况。
• T-AIS Real-Time:此按钮激活陆基AIS数据图层。WebGIS将显示通过陆基AIS获取的所有信息。
可视化数据每分钟刷新一次。
• S-AIS Real-Time:此按钮激活卫星AIS数据图层。WebGIS将显示通过卫星AIS获取的所有信息。
可视化数据每分钟刷新一次。
• Planning:此按钮激活一个提供可用卫星未来覆盖图的图层。
• Weather:此按钮显示当前显示区域的天气和风向预报地图。
• Bathymetry:此按钮激活测深数据图层,数据以灰度图形式呈现。
• New Request:此按钮允许提交新的监控请求。
•打印:此按钮提供所显示场景的可打印图像。
界面的其余部分用于在地图上显示请求的信息。在此地图中,用户可以激活多个专题图层,其中 部分图层也可通过工具栏激活。当同时激活多个图层时,用户可以在图层堆叠中指定其优先级。例如, 可以通过图层堆叠将重点关注的信息置于前端,且每个图层可设置不同的透明度属性。
如上所述,一旦激活陆地和/或卫星实时自动识别系统图层,该区域内的船舶将显示在地图上。船 舶以彩色箭头表示,其中颜色代表船舶类型。通过直接点击地图上的船舶图标,可以查看每艘船舶的 可用信息(见图14)。此时会弹出一个专用面板,显示以下信息:(i)船舶尺寸(以长度、宽度和吃 水表示);(ii)船舶航线和速度;(iii)船舶目的地及预计到达时间;以及(iv)注册信息(如海 上移动通信业务标识码、船舶名称、呼号和国际海事组织编号)。从信息面板还可以进一步访问船舶 详情并追踪该船舶的历史位置。
海洋科学与工程杂志2019,202, 7 24中的 18
除了实时/历史AIS数据的可视化外,用户还可以通过新请求按钮提交对指定区域进行新监测的请 求。为此,用户必须:(i)通过直接在地图上绘制或向系统提供适当的.KML文件来选择一个感兴趣 区域(矩形或多边形);(ii)指定感兴趣的时间范围。一旦提交请求,OSIRIS操作员必须执行一系 列步骤以推进监测请求。他可以编辑请求以更新其状态(待处理、已拒绝、处理中或已完成),或指 定将一颗或多颗卫星捕获的额外数据纳入监测流程。
用户可以在专用页面中查看每个请求的状态。对于处于中间处理状态的请求,还将报告完成百分 比。已完成的请求可被选择以在地图上显示结果。结果显示图层根据分配的分类标签,以主题图标的 形式表示已识别目标和船舶。当检测到的目标经核实与自动识别系统记录建立可靠链接时,将升级为 已识别船舶状态。目标可根据以下规则进行分类(见图15):(A)已识别船舶,具有已识别航线; (B)已识别船舶,仅具有已识别方向(航线存在 180◦不确定性);(C)检测到的目标,具有已识 别航线;(D)检测到的目标,具有已识别方向(航线存在 180◦不确定性);以及(E)检测到的目 标,无任何关于航线或方向的信息。在结果图层中,用户还可以选择在可视化地图中考虑哪些可用的 卫星源。相应地,已处理和识别的船舶及目标将在显示的地图上被正确高亮显示。
用户可以交互式地获取与地图上船舶和目标相关的处理结果的附加信息。选择某一目标后,将显 示相应的专用面板。该面板包含可用的处理结果(例如估计长度、宽度、航线和速度),对于已识别 船舶,还提供指向相应AIS匹配的快速链接。通过信息面板,用户可查看输入卫星裁剪图像以及该目 标的预测航线。如图16所示,航线预测通过色谱图表示,其中红色对应高概率值,蓝色对应低概率值。
通过信息面板,可以查看所选船舶在未来30、45、60和120分钟的预测航线概率图。
9. 实施
欧洲航天局(ESA)与由意大利公司MAPSAT领导的科学联盟共同于2016年2月启动了OSIRIS项 目7(光学/合成孔径雷达数据与系统集成用于快速识别船型)。OSIRIS项目代表了首次尝试将本文所 述的方法和技术应用于海上监测系统的实际实现。事实上,OSIRIS的主要目标是开发一个专门用于海 域监视的平台,能够检测和识别非法海上交通。因此,OSIRIS将成为打击非法捕捞、非正常移民及相 关走私活动的新工具。OSIRIS项目是在欧洲空间局通用支持技术资助计划(GSTP)框架内开展的。
OSIRIS项目联盟包括两个CNR研究团队,即IIT‐CNR的未来互联网Web应用小组和ISTI的信号与图 像实验室,这两个团队在机器学习和计算机视觉领域拥有长期的专业知识。联盟的另一成员是意大利 公司SistemiTerritoriali,
7 http ://wiki.services.eopo rtal.org /tiki-index. p h p ? page =OSIRIS.
海洋科学与工程杂志2019,202, 7 24中的 20
具备地理信息和商业智能系统专业知识。在fullyoperatingconditions下,OSIRIS技术平台将负 责:(i)收集和整合多源多传感器卫星任务为特定关注海域提供的数据;以及(ii)处理获取的数据 以检测和分类远洋船舶。高分辨率数据将由哨兵‐1(C波段合成孔径雷达)和哨兵‐2(光学)卫星提供, 二者均属于欧洲航天局哥白尼任务。此外,EROS‐B(ISI‐图像卫星国际公司)将在光学波段提供数 据,COSMO‐天空卫士(意大利航天局)将在X波段合成孔径雷达提供数据。随后将对这些数据进行 处理,以检测和识别位于关注区域内的船舶,并提供有意义的船舶特征估计值,例如运动学和形状参 数。执行船舶识别的关键信息将通过流行的船舶监控系统(如AIS服务)以及整合来自开源情报系统 (OSINT)的附加信息获得。最终将对数据进行分析,以生成这些船舶航线的预测模型。
AIS数据由阿斯特拉寻呼和精确地球两家公司提供。阿斯特拉寻呼提供从地中海沿岸部署的大量 地面站以高频速率收集的陆基AIS数据。而精确地球则通过发射与早期运行阶段(LEOP)AIS卫星星 座以低频速率获取卫星AIS数据。目前,一个网络GIS平台负责收集并融合来自上述两个提供商的 AIS数据,在经过过滤阶段抑制虚假或重复记录后,向项目操作员提供可用数据。
10. 结论
介绍了一种专用海上交通监控软件平台。该平台的主要目标是在由在轨卫星(如哨兵1/2、 CosmoSky‐Med和EROS任务)远程监控的给定海面区域内检测和识别目标船舶。雷达和光学图像为 此平台的主要输入数据。这些数据通过一系列算法进行处理,算法顺序应用于数据以返回以下信息: (i)被检查区域内船舶的定位;(ii)主要船舶几何属性,如总长度、总宽度和航向;(iii)由速度 矢量表示的船舶运动状态;以及(iv)船舶运动学的演变。
OSIRIS平台最初构想主要用于地中海海事框架。然而,作者旨在从概念上扩展该系统,使其可用 于不同的海洋场景,在这些场景中,特有的环境特性可能会带来新的挑战。在极地地区,目标检测模 块应能够区分船舶与冰山。事实上,在当前平台实现中,冰山可能被错误识别为潜在船舶目标,但可 以通过关注冰山形状的不规则特征(相对于船舶典型的矩形轮廓)来将其排除在处理流程后续阶段之 外。通过对检测模块返回的输出形状进行判断,可以剔除形状不规则的候选冰山目标。在极少数情况 下,若检测到的冰山呈现矩形形状,还可通过检查其是否具备类似船舶的属性进一步评估。例如,船 舶目标的形状因子(长宽比)通常平均值约为5。在极不可能的情况下,若某冰山被分类为非合作船 舶,则最终将由人工操作员分析其对应的图像裁剪,并予以拒绝。
未来发展将致力于通过提高处理流程中各个阶段的准确性以及改进分类方法,来提升平台的整体 性能。我们观察到,在图像噪声较大或严重失真时,已实现的分割模块返回的估计值不够鲁棒。我们 注意到结果往往显著依赖于所假设的初始形状,即所选择的阈值策略。在不依赖补充数据或预处理的 情况下,我们目前正在尝试寻找一种合适的方法来调节阈值。下一步将尝试整合相同类别的结果
海洋科学与工程杂志2019,202, 7 24中的 21
通过不同的收发极化方式对目标成像,并将提取的特征集成到分类过程中。此外,本研究旨在为进一 步完善船舶分类方法(基于散射测量/极化特征)以及更可靠的航向和速度估计(基于尾流特征提取和 方位偏移评估)提供支持。由于尾流模式在SAR图像中难以检测,未来的发展还将致力于改进尾流识 别过程,利用额外的信息(如船舶位置的精细估计)以及该水动力学问题的相关约束条件(如理论预 期的尾流角度孔径)来提升识别效果。
作者的目标之一是从概念上扩展所描述的平台,以使其更适合决策者和相关机构使用。通过整合 额外的流程,该系统将能够显著提升对特定海上情况的认知水平。为此,可通过船舶预测模块对事故 风险进行预测,进而评估海上交通安全的模型,可被集成到船舶特征分析流程中[61–63]。例如,船 舶预测模块生成的概率图可进一步丰富为包含事故概率的地图,最终形成一个集成的强大工具,以实 时方式预测可能面临关键情况的海域,从而为相关操作人员提供需重点监控区域的决策支持。
目前,该平台正在OSIRIS项目框架内进行测试,并已从真实环境测试工作台中获得了初步的积极 成果。
作者贡献:概念化,M.R.(马尔科·雷贾尼尼),M.R.(马尔科·里吉),A.L.D.,C.B.,L.B.,A.D.,C.D.P.,A.M.,C.M.和 E.S.;数据管理,M.R.(马尔科·雷贾尼尼),M.R.(马尔科·里吉),M.T.,A.L.D.,C.B.,A.D.,C.D.P.,A.M.,M.M., C.M.,E.S.和B.Z.;形式分析,M.R.(马尔科·雷贾尼尼),M.R.(马尔科·里吉),A.L.D.,C.B.,L.B.,A.D.,A.M.和E.S.; 资金获取,C.D.P.;调查,M.R.(马尔科·雷贾尼尼),L.B.,C.D.P.,C.M.和E.S.;方法论,M.R.(马尔科·雷贾尼尼),L.B., C.D.P.,C.M.和E.S.;项目管理,C.D.P.;软件,M.R.(马尔科·雷贾尼尼),M.R.(马尔科·里吉),M.T.,A.L.D.,C.B., L.B.,A.D.,C.D.P.,A.M.,M.M.,C.M.,E.S.和B.Z.;监督,C.D.P.;验证,M.R.(马尔科·雷贾尼尼);可视化,B.Z.;撰 写—初稿,M.R.(马尔科·雷贾尼尼),M.R.(马尔科·里吉),M.T.,A.L.D.,C.D.P.,E.S.和B.Z.;撰写—审阅与编辑, M.R.(马尔科·雷贾尼尼),M.R.(马尔科·里吉),M.T.,A.L.D.,L.B.,C.D.P.,M.M.,E.S.和B.Z.
资助方:欧洲空间局通用支持技术资助计划,招标编号ESA‐IPL‐POE‐SBo‐sp‐RFP‐1008‐2015。
致谢:本工作是在欧洲航天局(ESA)资助的OSIRIS项目(光学/合成孔径雷达数据与系统集成用于快速识别船 型)框架内开展的。OSIRIS项目由欧洲空间局通用支持技术资助计划(GSTP)实施。
利益冲突:作者声明不存在利益冲突。
509

被折叠的 条评论
为什么被折叠?



