读论文：基于深度学习技术的卫星图像热带气旋中心识别

标题: Identification of tropical cyclone centre based on satellite images via deep learning techniques
作者: Teng Long | Jiyang Fu | Biao Tong | Pakwai Chan | Yuncheng He
原文地址： 10.1002/joc.7909

---

Abstract

准确识别 TC 的关键参数是大多数 TC 相关研究和实践的先决条件。中心位置是TC的基本参数之一。然而，比较不同气象机构发布的TC最佳路径数据，通常会发现不同数据源之间该参数存在明显差异。对六种深度学习模型进行了分析和比较，其中YOLOv4模型性能最优。此外，文章还进一步研究了影响YOLOv4模型的因素并在多个TC位置识别和单个TC跟踪中的应用。结果表明，它识别多个 TC 位置的概率超过 99%，并且对于单个 TC 跟踪也表现良好。

Index Term——deep learning, identification of tropical cyclone centre, satellite image, tropical cyclone, YOLOv4

---

Introduction

准确识别TC的关键参数是该项工作的前提。而中心位置就作为TC的基本参数之一存在。

但是在比较了不同的TC最佳路径数据之后会发现不同数据源之间的参数有着明显差异，就比如中国气象局（CMA）和美国国家海洋和大气管理局（NOAA）的数据就有着些许不同。

而对于登陆后的TC而言，这种差异就更加明显。对TC中心的不准确识别可能导致风场和降水预测的误差/不确定性明显放大，尤其是在核心区域周围。

随着技术的发展，卫星云图SCI可以作为TC定位的最基本数据，从而辅助TC定位技术的方法——Dvorak技术：通过使用运行特征，结合透明螺旋线和主管解释来确定TC中心的位置，其改进模型（Olander和Velden等）也是经常使用的TC定位方法。

• 螺旋分析法：通过数字图像处理技术和数学形态学运算提取螺旋云带的骨架和边缘，然后基于骨架进行螺旋线拟合，最后以螺旋线的原点来作为TC的中心；
  但是，由于该方法的阈值算法中设计参数往往需要根据实际情况进行调整，所以在某些情况下变得不适用；

在实际应用中，每个SCI通常只包含有限的信息，而这些信息往往不足以探索TC的复杂演变。此外，单个SCI通常具有较低的时间和空间分辨率，导致计算机在自动定位中的精度较低——开发了两种技术来解决上述问题：

1. 风场分析法：基于连续的多副遥感影像拟云的运动从而推断出TC的中心位置；
2. 多通道定位：利用其它卫星通道来确定台风中心/采用多台融合技术定位台风；

最近有许多深度学习技术来处理TC中心定位问题。但是这些方法都没有考虑不同深度学习模型对TC定位性能的影响以及影响模型能力的因素。

本文的重点就是通过当前目标检测领域的六种主流模型来进行基于SCI的TC中心识别。其中，YOLOv4模型表现最佳

---

综述

一、方法陈述

本文所使用方法的流程图如下所示：

主要工作包括数据预处理、训练六种目标检测模型、目标检测模型性能比较、模型性能影响因素分析、个案应用与总结

1.1 数据源

本文中使用的卫星图像属于地球同步卫星在西北太平洋上空捕获的高分辨率红外 SCI，大多数图像在平面上包含 1,080 × 680 像素。下图显示了SCI的六种模型：

IR Image（A图像）、IR Image BD Enhancement（B图像）、WV Image（C图像）、IR Image Color Background（D图像）、IR Image NHC Enhancement（E图像）和WV图像彩色背景（F图像）；它们之间的比例为1：1.02：1：1.02：0.94：1.18。

图像数据可从气象卫星研究合作研究所/威斯康星大学麦迪逊分校 (CIMSS) 的网站 (http://tropic.ssec.wisc.edu/）。因网站未提供相应标注信息，故采用中国气象局发布的台风年鉴（http://tcdata.typhoon.org.cn/）。

---

1.2 数据预处理

1.2.1 数据扩充

DL的性能很大程度取决于所涉及数据的数量和质量。而TC又具有很复杂的结构，并且在不同的发展阶段又表现出明显不同的结构特征，因此采用的 SCI 数据集往往不足以用于某些类型 TC 的中心识别——加强数据，如下图所示：

使用了三种图像转换模式，水平、垂直、水平和垂直翻转的逆时针旋转。这样的处理有利于提高目标检测模型的泛化能力。但是，由于翻转操作，图像中涉及的一些信息可能会丢失，例如 雨带的旋转方向；

此外，由于原始图像为 1,080 × 680 像素，我们的卷积核的正方形为 3 × 3，因此 1,080 × 200 灰度像素填充 SCI 像素，形成 1,080 × 1,080 像素，以确保提取的特征不变形

---

1.2.2 分层以及标准化

在这项研究中，SCI图像数据集的划分方式是：训练集、验证集和测试集的比例大约为8:1:1。为了满足模型对输入信息的要求，并在训练过程中促进收敛，SCI的所有像素值都被归一化，使其处于[-1，1]的范围内。

---

1.3 目标检测模型

1.3.1 CenterNet模型

该模型将目标检测视为标准关键点估计的问题：输入图像首先用于通过全卷积网络生成热图；然后将其峰值位置视为对象的中心，并使用峰值周围的图像特征来确定划分对象的边界框的宽度和高度。

该模型的结构非常简单：主要由一个主干前端网络和三个输出网络组成。从骨干网络中提取的特征经过三个输出网络，即heat-map head、offset head和size head，分别对应识别出的中心点、中心点的预测偏移量和预测宽度和边界框的高度

---

1.3.2 EfficientNet model

该模型类似于MBConv，它结合了用于对象检测的残差结构和注意机制，此模型额外利用缩放策略和约束规则来提高模型效率。其基本锁模可以看作是：在给定的约束条件下，对 EfficientNet-B0 的输出进行一定的复合模型缩放操作，以缩放网络的深度、宽度和分辨率，这些操作已被证明 有利于模型性能的提高，尤其是它的效率。

---

1.3.3 SSD模型

从结构上看，该模型由三个主要部件组成：VGG16、Extra-layer 和 Pred-layer

• VGG16：作为模型的基本结构。它负责提取图像特征并将它们输出到Extralayers和Pred-Layers；
• Extra-layers：进一步处理VGG特征，增加模型对图像的感知范围，获得更多的特征图用于目标检测。一个3×3的卷积核用于完成Extra-layers不同输入通道的信息的卷积变换；
• Pred-Layers一共接受Extra-layers和VGG16输出的6个feature maps，并根据它们确定物体位置；

---

1.3.4 M2Det模型

该模型是在SSD的基础上开发的。

• 不同：额外利用了所谓的多级特征金字塔网络（MLFPN），该网络能够检测不同尺度的物体——有助于克服SSD的局限性，即生成的特征图主要或仅包含来自单层的信息，其表达能力不足；
• 结构：FFM，TUM，SFAM。FFM和TUM分别用于融合不同层次的特征并实现特征的深度提取，而SFAM旨在将TUM生成的多层次多尺度特征聚合成一个多层次特征金字塔；

---

1.3.5 RFB模型

该模型也是源自于SSD模型：

• 不同：额外利用了感受野块 (RFB) 网络。 RFB具有模拟人类视觉系统中感受野大小与偏心率之间关系的能力，使得模型能够在不增加模型复杂度或计算量的情况下从大区域中提取目标特征——它可以有效地增强模型的特征可辨性和鲁棒性；
• 功能：包含两个主要层：多分支卷积层和扩张池或卷积层。前一层使用不同的卷积核来实现多尺寸的感受野，而后者生成高分辨率的特征图用于更大区域的物体检测；
  

---

1.3.6 YOLOv4模型

• 本质：将检测问题转换为对象回归问题。它涉及分类和定位技术，旨在在检测过程中在准确性和效率之间取得良好的平衡；
• YOLOv4 专注于可学习的关键点，并将每张图像划分为 S×S 个网格。目标对象所在的网格负责检测对象的边界和关联的分类类型。还可以提供判断的置信水平或概率，还可以提供判断的置信度/概率；
• 结构：CSPDarknet53、SPP、PANet和Yolo Head：CSPDarknet53作为YOLOv4的骨干网络；
  

---

1.4 模型表现

使用精确率、召回率、平均精度（AP）和F1分数等来表示模型性能：

其中，N_TP表示真正确预测的数量，N_TN表示真错误的预测数量，N_FO是假正确的预测数量，N_FN是假错误的预测数量

F1分数是分类问题模型的另一个指标，而对于二元分类问题，F1可以表示为准确率与精确率和召回率的掉和平均值：

在目标检测领域，置信度Confidence经常用来表示检测器的识别能力。该指标是由$P_r(object)$和$IoU$计算所得，它们分别描述了物理存在的概率和预测框（PB）与地面真实框（GB）的交集与拼接的壁纸。一般来说，置信度越大，预测的框架就越准确：

其中，A代表了GTB，B是预测箱，$P_r(object)$是客观预测概率

此外，还会采用对数平均损失率Larm来考察物体检测器的整体漏检性能。该指标是在FPPI（每幅图像的假阳性）和MR（漏检率）的基础上定义的。给出一条用对数坐标描述的MR-FPPI曲线，可以确定9个点，其FPPI值在[0.01, 1]范围内均匀分布：

---

二、 结果

2.1 模型性能的比较

本文主要研究了六个主流模型：即CenterNet、EfficientNet、M2Det、RFB、SSD和YOLOv4。

在训练/验证过程中通常都是用损失值来观察训练状态的。要注意的是，增加训练周期不一定会让模型的表现能力上升，所以通常会设置在一定的次数后损失没有减少，训练过程就提前停止。

上边提到的六个模型在训练/验证过程中的损失曲线如下图所示：

可以看出来，在经历了几十个epoch之后，模型都达到了可以接受的状态。因此，与最小验证损失值相关联的参数化模型被选择用于测试过程。

各种检测指标结果如下表所示：

为了评估模型的预测精度，下表比较了平均经纬度误差：

为了测试模型的识别能力，下图显示了置信度的结果：

以上这些结果表明，YOLOv4模型的表现最好

为了更直观的比较性能，下表列出了模型的综合评估排名：

简单来说：YOLOv4表现最好，Center表现最差，具体排名是这样的：YOLOv4 > RFB > EfficientNet > M2Det > SSD > CenterNet

YOLOv4提供了最好的性能，因为它能够掌握整个图像所涉及的信息，从而学习物体的通用特征并迁移到其他领域。此外，它可以利用上下文信息，减少背景信息的干扰

---

2.2 关键因素对预测结果的影响

对于TC定位的预测精度一定程度上还取决于数据集本身。这里就研究了相关因素的影响，包括SCI的类型、TC的特征和SCI中涉及的TC的数量。

2.2.1 SCI类型

不同类型的SCI往往能够突出感知目标的不同特征。因此，这一因素可能明显影响TC定位预测的准确性。本文研究了六种SCI类型，如下图所示：

下表列出了通过YOLOv4模型由每种类型的SCI驱动的TC中心的平均误差：

通过比较，可以发现彩色SCI（D,E,F)对应的定位结果更好。这是因为彩色图像的TC更容易从背景中区分出来；
而在彩色SCI中，D图像能够清楚地描绘出整个TC云结构，E图像强调较暖的TC云烟和较冷的云环之间的差异，二F图像呈现出水蒸气的分布；
从表4来看，D型对应的预测结果最好，经度和纬度的平均误差等于0.38和0.33

上述结果表明，从SCI中获取整个TC云层结构对所采用的模型探测TC中心是非常重要的。在没有特别说明的情况下，以下部分只讨论基于D型图像（即红外SCI）的结果。

---

2.2.2 TC结构与TC强度

SCI的云系统特征是非常复杂的，而TC眼为TC云系的形态特征提供了重要依据。同时，TC强度在影响TC云系特征方面起着重要作用。这一节就主要研究两个因素的影响：TC眼和TC强度。

表5检查了TC眼对定位结果的影响，如下所示：

从表中可以看出来：当SCI中存在TC眼时的误差要远小于不存在时的误差。这也就说明了SCI中TC眼的存在对模型的定位精度有很大的影响；
然而，与传统的主观技术不同，这里的模型不需要手工勾勒TC特征，也不需要详细的形态特征划分标准。这大大提高了定位的效率

表6则是检查了TC强度对探测结果的影响：

TC根据眼壁周围的最大持续风速被分为六个强度等级（即TD、TS、STS、TY、STY和Super TY）;
当TC强度为TD时，平均误差为0.44（经度）和0.41（纬度）。随着TC强度的增加，误差越来越小。对于超TY强度，平均误差变为0.26和0.25；

述结果表明，TC强度对模型定位的精度有很大影响。这是可以理解的——因为TC强度的增加往往会导致TC云系的以下变化，可以促进TC与SCI更有效的区分：云顶亮温变低，对流核心数量增加，对流延伸高度变高。

---

2.2.3 SCI中的TC数量

多个热带风暴在西北太平洋上空共存的情况并不少见。然而，从物体探测的角度来看，当TCs距离很近或强度差异很大时，模型要提供准确的预测可能会变得很困难

下图就显示了一个有三个共存TC的SCI的定位结果：

尽管这些紧密分布的TC在强度上有明显的差异，但模型可以准确地识别它们，置信度分别达到0.9999、0.9999和0.9981

下图则是显示了三种情况下的置信度结果，这些情况对应于相关SCI中共存的TC的不同数量：

单个TC情况下的集合平均置信度为99.58%，两个TC情况下为99.08%，三个或更多TC情况下为99.15%

上述结果表明，YOLOv4模型不仅对SCI中单一TC的情况表现良好，而且对有多个TC的情况也表现良好；

---

2.3 TC生命周期内的案例研究

通过案例研究来验证模型的实用性。为了考察模型的泛化能力，所选的TC事件需要满足以下条件：

1. 风暴在登陆前至少持续5天，最大强度达到/超过强台风STY级别；
2. 它在不同的演变阶段表现出典型的不同云层模式；
3. TC的路径应该足够长，以便相应的SCI能够覆盖更多类型的TC云系以及不同的背景；
4. 所选的TC在训练/验证数据集中不应该被覆盖；

此处选择了2020年的两个TC：Vamco和Haishen。

下图比较了两个TC时间在其生命周期内通过YOLOv4模式对TC中心的预测结果与CMA发布的最佳路径数据：

可以看到，当风暴停留在开阔海域时，模式预测结果与最佳路径数据显示出晾好的一致性；
但是预测误差在TC的初始阶段和登陆后都变得较大。而且登陆后的TC的误差比初始阶段的误差还要大；

下图描述了在两个TC的三个相应演化阶段：

a, d对应初始阶段；b, e对应于成熟阶段；c, f对应于登陆后的阶段；

可以看出来，当风暴停留在开阔海面上，同时保持相对较高的强度时：

1. TC的云层结构是密集和紧凑的；
2. 它与邻近的背景形成鲜明对比（白色与黑色对比）；

这些特征有利于有效识别TC结构和准确定位其中心。

对于处于TC初始阶段的情况，虽然TC云层与背景比较容易区分，但由于风暴还没发展到成熟，所以不能准确识别TC中心；

当TC登陆后，它们开始迅速衰减，颜色变的很暗淡。在这种情况下，识别TC也变得困难；

---

总结

本文的重点是通过基于SCI的深度学习技术自动识别TC中心。对六种特定物体检测模型的性能进行了研究和比较。结果显示，所有这些模型的预测精度都超过了91%，而YOLOv4模型的表现最好。

然后进行了参数分析，探究了以下几个因素的影响：

• SCI类型；
• TC结构；
• TC强度；
• TC数量；

得出以下结论：

1. 使用彩色SCI往往能带来更好的定位预测，因为TC云在彩色图像中更容易从背景中区分出来；
2. TC结构和TC强度都会对预测精度产生明显影响。SCI中TC眼的存在有利于准确识别TC中心。同时，随着TC强度的增加，预测误差会越来越小；
3. 本研究结果表明，SCI中涉及的TC数量对模型性能的影响不明显，YOLOv4不仅对SCI中的单个TC表现良好，对有多个TC的情况也表现良好；

本文还进行了两个案例研究来检测模型的实用性和泛化能力。从结果可以看出，停留在开放海域的风暴最能被模型识别出来（因为云层与海面对比度较强），而登陆后定位TC中心仍是一个挑战；

尽管上述结果都表明目标检测模型的整体性能良好，但其仍有一个限制。造成这种限制的原因主要有两个：

1. 首先，TC是中尺度气候，但SCI中存在大量的云层重叠，不同层次的云系之间相互干扰，TC着陆后云层稀薄甚至不存在——需要通过更高质量和更全面的SCI来减少定位误差；
2. 模型使用的标签数据是CMA的最佳路径，忽略了TC的涡旋中心在移动过程中的副摆运动，从而导致了虚假误差——需要更好的质量和大量的数据进行训练以提高模型的定位能力以及更进一步的提高TC登陆后的定位精度；

---