翻译ENSO-GTC: ENSO Deep Learning Forecast Model With a Global Spatial-Temporal Teleconnection Coupler

摘要：

延续前人提出的热带太平洋多元海气耦合器，设计了全球时空遥相关耦合器(GTC)，对全球海表温度(SST)之间的潜在遥相关进行建模。为此，将太平洋、印度洋和大西洋划分为组成动态图的小海洋斑块，其中相邻关系由先验知识人工构建，非相邻关系由深度学习方法从数据中学习。基于GTC，建立El Niño-Southern Oscillation (ENSO)深度学习预测模型(ENSO-GTC)，设计概率图卷积层学习时空遥相关，即动态图中的非相邻关系。为了保持物理一致性，提出了一种具有图总变分惩罚项的损失函数。我们将ENSO-GTC调整到最优，其Niño3.4指数相关技能在迭代策略下的6个月/12个月/18个月预测中为0.79/0.66/0.51，在直接策略下的20个月预测中高于0.6，优于其他最先进的模型。探讨了ENSO-GTC在有效预报提前时间、持久性障碍改进和预报误差分析方面的预报技巧。此外，我们发现GTC所了解到的与多个ENSO理论完全吻合。开尔文波和罗斯比波的振荡对太平洋海温有6个月的滞后相关性。北太平洋和南太平洋经向模态(NPMM和SPMM)与ENSO的演变密切相关，应加强监测。赤道印度洋/大西洋和太平洋之间的遥相关是非常重要的，通常在ENSO之前有2个月/8个月的滞后相关。

简单总结

El Niño-Southern涛动(ENSO)是热带太平洋地区最主要的年际气候周期。考虑热带太平洋多元相互作用的耦合ENSO深度学习预报模型取得了显著的效果。尽管ENSO主要发生在热带太平洋，但其他海洋盆地(如印度洋和大西洋)在ENSO的发生、发展和衰减中发挥着重要作用。在本文中，我们构建了一个全球时空遥相关耦合器(GTC)，从全球三大洋海温相互作用的角度捕捉到与ENSO的关键遥相关。通过将全球海洋分割成小海洋斑块，我们构建了一个动力学图来描述海温相互作用。在图中，相邻关系由先验知识人工构建，非相邻关系则通过深度学习方法从数据中学习。基于该耦合器，我们构建了一个ENSO深度学习预测模型(命名为ENSO- gtc)，并设计了概率图卷积层来学习时空遥相关，即动态图中的非相邻关系。我们首先调整ENSO-GTC到最优，并测量其预测技能。然后，我们进行了物理可解释性的什么模型。

简介

El Niño-Southern振荡(ENSO)是调节全球气候变化和变化的最主要现象之一(Holton & Dmowska, 1989)，其年度振幅通常对社会经济和人类可持续性产生重大影响(Glantz et al, 2001;McPhaden等人，2006;Patz, 2002)。

自20世纪80年代以来，ENSO研究出现了一个大高潮。气象研究人员在ENSO的动力过程分析、物理机制研究和预测方面付出了巨大的努力，并取得了深刻的进展。

近年来，ENSO深度学习(DL)模型取得了很大的进展，并在Niño指数序列预测中存档了出色的预测技能和海温(SST)网格时空预报与经典数值预测相比，这些模型可以达到甚至超过现有的预测技能更高的预报技巧，即所谓更高的预报精度，是ENSO预报的永恒追求。越来越多的共识是，将先验物理知识纳入模型中可以通过调节模型优化空间来进一步提高模型性能(Karniadakis et al, 2021)，这被视为物理知情神经网络(PINNs) (Willard et al, 2020)。根据这一概念，我们考虑了太平洋上空至关重要的ENSO动力机制，如Bjerknes正反馈和平流反射振荡器，并构建了一个基于图的多元海气耦合器(ASC) (Mu, Qin， & Yuan, 2021)，如图1a所示。该耦合器同时在不同物理变量(海温、水汽、风、云和雨)之间执行多元能量响应。在此基础上，我们进一步建立了ENSO DL模型(命名为ENSO- asc)来预测ENSO。在18个月的领先时间内，其Niño3.4指数的相关技能达到0.5，预测的海温演变可以可靠地反映El Niño、La Niña和中立年Walker环流的振幅。它是第一个弥合传统的基于动态的建模和最先进的DL技术之间的差距。

ENSO的发生、发展和衰减主要集中在热带太平洋，热带外太平洋变化和其他大洋盆地(如印度洋和大西洋)也可以通过大气桥(Walker环流)和海浪(如Kelvin波和Rossby波)对热带太平洋ENSO产生重要的前兆信号，从而在一定程度上影响ENSO的强度、持续时间甚至类型。这激励我们将这些动态特征也纳入ENSO DL预测模型，以实现更熟练的预测。

在本文中，我们构建了一个全球时空遥相关耦子(GTC)，从全球三大洋海温相互作用的角度捕捉ENSO中的关键遥相关，如图1b所示。在这个耦合器中，太平洋、印度洋和大西洋被划分为小的海洋斑块，我们将这些斑块作为顶点来构建一个动态图。该图中的相邻关系代表了现有的地理/时间邻居，是人工建立的，非相邻关系是通过深度学习从三大洋的地球科学数据中学习到的，这是一个拓扑图。在此基础上，我们进一步实现了ENSO DL预测模型(ENSO-GTC)，模拟了全球海表温度变化和ENSO事件。

具体来说，我们设计了概率图卷积层来学习和推断潜在的时空遥相关，即动态图中的非相邻关系。另外值得注意的是，可以将非相邻关系可视化，从而对模型学习的内容进行物理可解释性，例如长期时空记忆和敏感区域。使用一个长期观测的SST数据集来训练我们的模型，并设计了一个具有图总变差惩罚项的损失函数来保持非相邻关系的物理一致性。应用Niño指数相关性来衡量预测技能。

据我们所知，这是第一次通过DL耦合器了解全球海表温度时空遥相关。我们从以下三个方面设计了大量的实验。首先，我们将ENSO-GTC调优到最优，并将其与其他最先进的DL预测模型进行比较。其次，我们从有效的预测提前时间、持久性障碍的改进和预测误差的分析三个方面来评估其预测能力。第三，我们通过在动态图中可视化学习的非相邻关系来分析其物理可解释性。

优化后的ENSO-GTC在迭代策略下的6/12/18个月内的Niño3.4指数相关技能高于0.79/0.66/0.51，在直接策略下的20个月内的Niño3.4指数相关技能高于0.6，优于ConvLSTM、PredRNN、PhyDNet、MIM和ENSO-ASC等最先进的DL模型。不同策略的性能分别表明，采用直接策略的ENSO-GTC在长期预测中几乎不受持久性障碍的影响，而采用迭代策略的ENSO-GTC在很大程度上削弱持久性障碍。预测误差分析表明，短期预报不确定性与沃克环流的短记忆效应有关，长期预报不确定性与多个海浪的长记忆传播有关。同时，在物理可解释性方面，它学习到的非相邻关系显著地保持了物理一致性。从不同拓扑图中表示的统一模式中，我们发现GTC所了解到的恰好与多个ENSO理论相匹配。热带太平洋的拓拓图表现出明显的6个月滞后相关性，这表明了延迟振子理论。太平洋经向模式(PMM, Chiang & Vimont, 2004)

图1。(a)耦合器，它考虑了重要ENSO动力机制(如Bjerknes正反馈)指导下太平洋上空的变量间能量相互作用。(b)捕捉三个海洋盆地(印度洋、太平洋和大西洋)在大气桥和海浪上的全球遥相关的耦合器

(包括北PMM和南PMM)与ENSO的演化密切相关，应加强监测。赤道印度洋/大西洋和太平洋之间的遥相关是非常重要的，通常在ENSO之前有2个月/8个月的滞后相关。这些结论证实并扩展了以往对ENSO DL预测模型的研究，表明ENSO- gtc从物理机制角度具有较高的可解释性，是研究ENSO物理机制的替代工具。

本文的其余部分如下。第二部分介绍了动态图的形成动机和实现方法，以及基于动态图的GTC形式化方法。第三节详细介绍了基于GTC的ENSO DL预测模型(ENSO-GTC)。第4节说明了数据集、实验模式和结果分析，包括ENSO-GTC超参数的确定、预测技能的评估和物理可解释性分析。第五节介绍了有关拓扑图的高级深度学习模型的相关工作。最后，第六部分对全文进行了总结，并提出了进一步的研究方向

2.GTC

在本节中，我们首先全面介绍了GTC动态图的建立，从动机到实现。然后，我们提出了GTC的形式化，通过该动态图来执行和挖掘ENSO中的全局相互作用。

2.1动态图

ENSO的演化受到全球许多重要时空遥相关的调节。例如，赤道太平洋的海温变化可以通过沃克环流受到印度洋和大西洋海温的影响，特别是上升分支的位置。东北太平洋上空的海气耦合状态也可视为CP(中太平洋)El Niño事件的触发。更不用说开尔文波和罗斯比波在ENSO年振幅中起着重要作用。这些关系通常很遥远，在季节中经常出现在特定的敏感地区。考虑到ENSO的这些特征，并以海表温度为例，将全球海表温度作为一个整体，不加区别地用DL模型进行解析，不适合描述详细的区域遥相关。图结构建模是一个自然的替代方案，我们以以下新颖的方式构建它。

假设全局海表温度模式为SSTg，我们先将其切成p块大小相同且无重叠的方程式1。这些小斑块（patch）覆盖了不同的海洋区域，是时空动态图和潜在遥相关研究的基本单元。具体来说，p随着小斑块（patch）的大小而变化(patch越小，p越大)。在未来的研究中，GTC将涉及更多的物理变量。

图2。(a)当补丁大小为30*30，并且阈值为0.7时，通过切割全局SST得到的小补丁示例。(d)为输入序列中的所有补丁预先设计的相邻关系Aphy。(b和c)组成了(d)，前者表示相邻空间在同一月份的连接，后者表示同一补丁在不同月份的相邻时间。

由于海洋和陆地在地球上的分布，小斑块中不仅包含海表温度数据。因此，我们定义一个超参数(或阈值)r来过滤土地网格过多的补丁，即我们将丢弃公式1中土地网格占总网格的比例高于r的补丁。例如，图2a为例，将补丁尺寸设置为30◦× 30◦(30相当于1分辨率训练中的30个网格测试数据集），阈值为0.7，其中彩色补丁经过过滤后保留。这样做的原因是，陆地网格在海表温度数据中只包含默认值(如0)，这是学习海表温度品种的噪声。

动态图Adyn的构建就是基于这些小补丁。Adyn的顶点是小斑块，两个斑块之间的边表示它们之间的动态遥相关。有一个自然的问题，如何确定补丁的连接(边)(动态图Adyn)。我们认为“邻居”斑块之间可以很容易地相互作用，而且遥远的海洋斑块也可以在ENSO期间产生重要的信号，例如滞后相关性。为了充分表示补丁之间的相邻关系和非相邻关系，Adyn被分为两个组件:Aphy和Atopo。前者是由先验物理信息人工确定的，后者是底层的遥相关，需要通过DL模型学习。

相邻关系Aphy的示例如图2d所示。这是前几个月所有补丁的0-1矩阵(例如预测模型的输入序列)。垂直(水平)轴表示不同月份的补丁，黑点(值为1)表示垂直轴上的补丁与水平轴上的另一个补丁在物理上“连接”。

对于这种相邻关系中的连接，有两种直观的物理解释。首先，在同一月份，每个斑块在空间上都可能受到其地理相邻斑块的影响或扰动。例如,在图2a中，补丁#7与补丁#2/#6/#8/#16相邻。注意边缘的补丁也会连接到另一侧的补丁(如补丁#6和补丁#14)。这样的连接可以在图2b所示的相邻关系中形成一个成分。其次，对于不同月份，同样编号的补丁也进行连接。例如,补丁公式}。如图2c所示，这种连接可以在相邻关系中形成一个成分。注意，在这种情况下我们忽略了时间轴的影响，未来月份的补丁也可以连接到前几个月的补丁。因为我们认为之前的序列已经是现有的证据，所以没有必要沿着时间轴进行推断。另一方面，每个斑块的全时间连接增强了局部特征的提取。因此，图2d所示的整个相邻关系可以由这两个成分来确定。我们使用Aphy来表示它。

与Aphy不同的是，Atopo不能被人为地预先定义，它包含了许多复杂的非线性遥相关，甚至是小海洋斑块之间的隐含动力机制。近年来，由于复杂的网络结构和全面的“神经元”(即权重)，先进的深度学习技术为从大数据中挖掘和探索信息提供了新的思路。所以类似于Aphy的形式，我们可以通过DL模块学习和推断Atopo的表示。具体来说，Atopo的顶点也是由所有斑块组成的，而两个不相邻斑块之间的边缘也被标识为0-1矩阵，由设计良好的DL模块判断。此外，考虑到海表温度品种的混沌性，Atopo中的每个连接都用单个概率分布表示。只有高概率的连接才被认为是拓扑关系，这样可以有效地去除伪相关和噪声。我们利用GTC中的概率图卷积层M(.)学习Atopo(见3.4节)，得到的非相邻关系可以直观地从物理机制方面进行解释

2.2. 基于动态图的GTC形式化

然后根据动力学图构造GTC。将传统预测系统类比为式2，用M-month的历史数据预测下个月M+ 1的数据，我们将每个月的输入和输出转换成小布丁，如式3进行GTC C(.)，

表示输入M个月份中的Pth小补丁，是预测M+1个月的小布丁，此外，GTC还在动态图Adyn的帮助下，通过相邻/非相邻补丁吸收了重要的遥连接。

在Adyn中，相邻关系是由上述物理指导预先设计的，非相邻关系需要由M(.)学习如式4。因此，混合这两种关系，GTC可以重写为式5，

M(.)可以被视为自监督学习，因为斑块之间的非相邻关系总是朝着有利于预测的方向前进。

值得注意的是，输入序列是DL模块解析海表温度补丁的特征(见3.2和3.3节)，这使得GTC更关注海表温度的低层相关性和元特征，而不是原始网格数据。这也为ENSO中全局/局部特征的增强和融合带来了好处和便利。在接下来的章节中，我们建立了一个基于该耦合器的ENSO DL预测模型，以研究潜在的空间远程遥相关和时间滞后相关性。总之，该模型充分利用了先验物理知识和规律，在很大程度上提高了物理可解释性。

 

图3。我们提议的ENSO-GTC架构。输入序列被切割成小的patch，输出也是预测结果的patch序列。ENSO-GTC由四个部分组成，包括补丁编码器、全局时空记忆提取器、GTC和补丁解码器。黑色箭头表示该模型中的数据流

3.ENSO-GTC

在本节中，我们全面介绍了基于GTC的ENSO DL预测模型，即ENSO-GTC。我们首先建立模型的整个结构，然后描述它的组件。

3.1ENSO-GTC的架构

ENSO-GTC(见图3)由四个模块组成:补丁编码器、全局时空记忆提取器、GTC和补丁解码器。

补丁编码器单独解析每个小海洋补丁，这是所有补丁的共享模块，并捕获潜在的局部特征。全局时空记忆提取器提取所有补丁中的全局时空信息。GTC学习非相邻关系，并在动态图的引导下模拟相互作用。补丁解码器将GTC的补丁特征端到端分别还原到对应的小补丁中，也是所有补丁的共享模块。

图3中的黑色箭头显示ENSO-GTC中的数据流。首先将整个海洋数据切割成小块，并将得到的小块传播到小块编码器和全局时空记忆提取器中。然后，GTC在我们提出的概率图卷积层(见3.4节)的帮助下将局部和全局特征耦合起来，该层学习隐藏在数据中的潜在遥相关。最后，将从补丁解码器中恢复的补丁重新排列到海洋数据中。

预测策略是一个非常重要的问题。一般来说，大多数ENSO预测模型对下一个连续月进行预测，长期结果需要多次迭代(标记为迭代策略)。

而有一种更直接的方法可以用时间间隔来预测未来的状态，比如用1 - 6月的海温来预测12月的海温状态(标记为直接策略)。在接下来的实验中，我们将比较这两种策略的表现

3.2. 小斑块局部时空特征提取的斑块编码器

小斑块代表每个月的区域海空状况，我们使用共享的斑块编码器提取它们各自的局部时空信息，以保持物理一致性。

全球海温品种在不同尺度上表现不同。从整体上看，El Niño表现出赤道太平洋大尺度海温异常的扩张和增强，而区域海温小尺度异常的传播也对ENSO有贡献，如太平洋中部-El Niño期间海温异常在东北太平洋的西南传播，以及Bjerknes正反馈中的Kelvin波和Rossby波的影响。这表明ENSO的多尺度演化特征明显，且小尺度变化趋同变大并促进ENSO的发展。考虑到这一点，我们设计了一个逐渐缩小的网络结构作为补丁编码器，（如图四），它可以通过卷积层和池化层的叠加来调节多个尺度。

图4。(c)补丁编码器的结构，由堆叠的编码器块组成。Encoder块包括n个密集层(浅灰色框)和1个池化层(深灰色框)。(a、b)致密层和池化层的详细结构。三个超参数(a和b),也就是膨胀系数增长率和theta，控制密集层中的通道变化和池化层中的通道收缩。

整个编码器由编码器模块组成，编码器模块是图4a中的重复密集层和图4b中的池化层的组合。稠密层由两个批处理归一化层和一个卷积层组成。卷积层不改变特征映射形状，而是改变通道大小，通道大小具有扩展-收缩行为，如蓝色框所示的膨胀系数和增长率两超参数控制这种行为。假设的输入通道大小致密层c,输出通道的大小将c+,增长率连接的输入和输出的最后卷积层,这意味着通过增长率通道大小增加了。这也可以称为密集连接，它可以将底层特征直接传播到高层，并尽可能保留原始特征。池化层由三层组成，如图4b所示。卷积层位于池化层的中间，池化层是通过一个超参数theta(<1)来缩小通道大小。池化层通过max-pooling缩小特征图的形状，有助于去除冗余信息，扩展接受域，提高多尺度特征提取的效率。假设池化层的输入通道大小为c，输出通道大小为c*theta，特征图形状也会被池化内核改变。

小块按顺序传播到共享编码器中，保证了局部空间特征提取的一致性。更重要的是，维护补丁顺序是后续GTC中相邻关系和非相邻关系的关键要求

图5。全局时空记忆提取器的结构。它是一个双头模块。空间轨道利用二维卷积，时间轨道利用一维卷积。输出是来自两个轨道的结果的连接。内核和通道大小标记在每一层下面

3.3全局时空记忆提取器

海表温度变化除了局地特征外，还具有全球时空特征，反映了ENSO振幅的趋势和周期性。因此，我们设计了一个与编码器并行的全局时空记忆提取器，如图5所示。

该提取器是一个双头结构，分别提取空间和时间记忆。原来的顺序贴张量(m代表输入月的长度,p代表每个月补丁数量,w和h是补丁的大小)转移到这两条轨道。其中，m×p表示补丁总数和序列时间轴。在空间轨道上，利用二维卷积层沿m×p提取全局空间依赖项，注意了全局海表温度的普遍性。在时间轨道上，一维卷积层也沿着m×p捕获时间记忆，保持顺序。卷积核大小和信道变化均标记在图5中.

在获得全局时空特征后，我们将其压平到1维，并将它们级联在一起作为全局时空记忆Mglobal。这个内存提取器的整个过程描述在公式6中，其中操作符||表示两个特征的连接。在我们调优的最优模型(6个月输入和30◦× 30◦patch大小，详细设置见4.2节)中，Mglobal的大小为R1×23760(图5中的蓝色张量为空间特征R1×816，图5中的橙色张量为时间特征R1×22944)。

3.4具有概率图卷积层的GTC

如第2节所述，GTC采用动态图的方式进行特征聚合，动态图由相邻关系和非相邻关系组成。前者是精心设计的，后者是由我们提出的概率图卷积层学习的。

3.4.1. 具有相邻关系的特征聚合

我们使用改进的邻接聚合函数来模拟邻居之间的交互，如式7所示，

表示根据Aphy聚合的特征。是补丁编码器对补丁i提取的局部特征，是对应的邻居补丁。deg(i)表示补丁“i”的度(邻居数），用于归一化不平衡邻居数的影响。图6a显示了该过程的一个示例，它为中心节点(红圈)聚合邻居特征(蓝圈)。由式7可知，物理相互作用可由aggr(.)函数学习，该函数模拟了相邻斑块之间传播到中心的不稳定能量。

 图6   (a)相邻关系特征聚合的一个例子，下式为红色中心节点与相邻节点的聚合方式。(b)提出的概率图卷积层，其输入是来自补丁编码器的补丁特征和来自提取器的全局记忆。拓扑图生成器以概率分布的形式生成非相邻关系，然后根据采样图采用蒙特卡罗方法进行特征聚合。(c)拓扑图生成器的详细描述，其中包含不同的门模块和用于过滤连接的顶部K层。

3.4.2非相邻关系学习与对应特征聚合

非相邻关系(拓扑图)不能预先定义。我们提出了概率图卷积层，首先学习这种连接，然后执行补丁特征之间的交互。同时，考虑到全球海表温度品种具有复杂的混沌性和极端的不确定性，该层采用单个概率分布来表示非相邻连接，量化不同的不确定性，类似于集合预测。

在概率图卷积层中，最关键的问题是如何确认高度不可知的非相邻连接。我们采用滤波的解决方案，即首先假设所有的patch都是相互连接的(全连接)，然后经过相似度计算和排序，选择排名靠前的K连接作为拓扑连接。滤波解决方案的动机是，具有相似特征的斑块在进化阶段更一致，这是由潜在的时空遥相关调制的。

基于此求解，概率图卷积层的整个过程可以总结如下(见图6b)。首先，计算全连接假设下的补丁对之间的相似度。其次，根据滤波解下的相似度生成拓扑连接;第三，通过学习到的非相邻连接聚合每个补丁的特征。我们设计了一个拓扑图生成器来实现该层的前两步，并设计了一个概率聚合计算来实现第三步。拓扑图生成器的详细计算单元如图6c所示。

3.4.2.1. 相似度计算

每个补丁对之间的相似度可表示为式8，式8的输入为补丁及其相邻补丁的特征。

其中Sim(⋅)操作符可以是余弦相似度或DL模型来测量相似性di，j在两个补丁之间是后来过滤连通性的证据。但是，由于patch特征是通过共享patch编码器获得的，仅使用公式8来测量相似性可能会对ENSO预测造成误解。也就是说，斑块越相似，就越有可能存在遥相关。这与ENSO的物理特征不一致。例如，PMM是ENSO预测的关键信号(Yu & Kim, 2010, 2011)，但它们在空间分布上并不相似。因此，我们使用全局记忆来修正局部相似度d𝑖，j由公式9。

 式9为门网络，其中Zij为更新门，通过全局记忆增强相似度(如PMM和ENSO之间的关系)，ri,j为重置门，忘记干扰相似度的噪声(如深度学习容易产生的无用伪相关)。是Sigmoid激活函数，用于缩放[0,1]内的输出。此外,我们使用几个可训练的转换重量嵌入,统一大小的块特性和全球时空记忆,其中900是补丁的大小特征,23760年是全球时空内存的大小,embedding是超参数,它控制了相似度计算的变换维数，几乎不影响性能。(在我们的优化模型中,我们在计算资源中将embedding设置为16。)式9中，hi,j通过ri,j去除Mglobal中被遗忘的信息，重置补丁剩余的特征。在此操作中，𝐴𝐴𝐴𝐴global既是patch之间相似度度量的“先验条件”，也是式8中忽略远连接的“检查位”，即Mglobal包含丰富的上下文信息。因此,基于这种“忘记”和“提高”,di,j可以纠正。全局特征和局部特征自动融合，更精确地计算相似度。这些门也显示在图6c中。

3.4.2.2.拓扑图生成

在获得配对相似度后，我们使用双层贝叶斯网络，标记为Evaluate(⋅)，以个体概率分布的形式估计其可靠性，其参数属于一个分布(D为数据集)。也就是说，这些独立的概率分布增加了模型结果的不确定性，更适合捕捉海表温度品种中的混沌。

然后，我们对每个patch执行softmax，如式10所示，其中∶表示移动它的邻居。顶点K拓扑连接由式11确定。在这里，由于Evaluate(⋅)的输出是概率分布，我们通过蒙特卡罗方法(Andrieu et al, 2003)重复采样，以获得稳定的测量值。注意，我们根据顶部𝐴𝐴𝐴𝐴的平均值𝐴𝐴𝐴𝐴𝑖𝑖，∶选择连接。类推相邻关系，所有a𝑖，∶构成拓扑图𝐴topo。由于抽样的原因，𝐴topo可以作为一个集合生成，如图6b所示。我们将在第4.4节中从ENSO物理机制的角度来可视化它们的物理可解释性的平均值。

 

 以上两步均由拓扑图生成器完成，如图6c所示。

3.4.2.3. 补丁特性聚合

 在得到拓扑图后，我们利用公式12分别通过采样中的每个𝐴topo对中心斑块及其新邻居的特征进行聚合，拓扑特征为平均值。

 我们通过式13中的残差学习将同一patch的物理特征和拓扑特征相加。该层可以在GTC中堆叠，不限于一个，其输出被传播到解码器进行预测。

 3.5. 补丁解码器预测结果端到端

从GTC获得输出特征后，我们首先对不同月份的同数量补丁进行月平均运算，整合预测月份的补丁特征，然后将平均的补丁特征按顺序传播到补丁解码器中，并保持顺序。

patch解码器设计成与patch编码器对称，逐步放大和恢复多尺度时空模式。如图7c所示，解码器由堆叠的decoder Blocks组成，decoder Blocks由图7a中的重复约简层和图7b中的上采样层组合而成。reduce层具有与patch编码器中的稠密层相似的扩展-收缩行为，但是它的输出通道大小将通过一个超参数reduce rate进行收缩。对于上采样层，我们使用双立方插值方法(Keys, 1981)来扩展特征图的形状。该层还使用超参数theta作为编码器进行信道缩减，上采样层可以将特征映射恢复到与原始输入形状相同的大小。此外，这两个层都使用了transform-convolution (Noh et al, 2015)层而不是原始的卷积层来模拟编码器中特征提取的反向过程。两个独立的变换卷积层被用来校正最后的上采样结果。

3.6. 具有图总方差惩罚项的损失函数

为了尽可能准确地做出预测，我们设计了一个组合损失函数𝐴来评估预测补丁逐格，指导模型训练。损失函数由公式14中的MSE和MAE组成，其中P为补丁号，Ω为所有网格。是真实世界的观察。前者用于测量预测斑块的平滑度，后者用于测量分布峰值。

 

 除了这两个测量，我们还根据我们提出的概率图卷积层在GTC中设计了一个惩罚项，因为相似度测量模块需要特定的正则化来识别似是而非的相关性，并确保生成的拓扑图的物理一致性。如上所述，特征相似的斑块更容易诱导远端遥相关，这反映了能量的动态平衡，也被视为拉普拉斯平滑正则化理论。在这个理论中，拓扑图的总方差(TV)应该尽可能低(Mahmood et al, 2018;Vu et al.， 2021)，这意味着新连接的斑块之间的冗余能量差应该尽可能小。这种正则化在海表温度品种中也是合理的。例如，ENSO类型(即东太平洋-/中太平洋- el Niño)是恒定的，每种类型的演化特征都是固有的、相对确定的(F. Zheng et al, 2014)，这导致新建立的变化较少

 

 图7。(c)补丁解码器的结构，由堆叠的解码器块组成。Decoder Block包括n个reduce层(浅灰色框)和1个上采样层(深灰色框)。(a和b)分别为约简层和上采样层的详细结构。三hyper-parameters (a和b),也就是说,膨胀系数,减少率和theta𝐴,致密层和控制信道变化的通道收缩上采样层。

不同年份模拟中斑块之间的连接。这表明非相邻关系趋于稳定，即能量差最小。总方差图如式15所示，

集成两个相邻和不相邻关系考虑,和|⋅|是l 规范评价特性差异连接两个补丁。在本研究中，= 1。

另外，由于拓扑图𝐴topo是一个概率分布，这就导致了整个模型训练的很多困难，特别是参数。然后我们使用一个先验分布，通过变分推理进行近似(C. Zhang et al.， 2018)，并使用Kullback-Leibler (KL)散度(Kullback & Leibler, 1951)来测量这两个分布之间的差异，如式16所示。

 

的期望是可训练的参数可以测量根据P(𝜗Evaluate |𝐷𝐷)。计算有关TV,和我们的目的是使TV尽可能小。因此，我们参考0来计算中TV的概率和相应的期望，指导模型的训练。注意，在计算上述三项时也采用了蒙特卡罗方法来描述概率计算。

总之，这个惩罚项使得拓扑图的生成保持了更多的物理一致性。最终的损失函数𝐴如式17所示，求和算子∑⋅表示我们将在GTC中为每个概率图卷积层设置单独的惩罚项。

4. 实验与结果分析

 4.1. 数据集和实验图式

充足的高质量训练数据对于DL模型来说是极其必要的，它可以有效地提高预测技能的下限。因此，我们在Met Office Hadley Center (HadiSST,https://www.metoffice.gov.uk/hadobs/hadisst/data/download.html)收集了1871.1 - 2021.3的观测海温数据集。它提供全球每月SST网格数据𝐴𝐴1◦分辨率。使用1871.1 - 2005.12的数据作为训练集，使用2011.12 - 2021.3的数据作为验证集。在避免时间记忆影响的训练集和验证集之间存在差距(Ham et al, 2019)。同时，我们使用模型预测和观测的相关性来评估绩效(标记为相关技能)，这是一种通用且可靠的方式。

我们从以下三个方面进行了广泛的实验。首先，我们通过仔细确定三个超参数，包括海洋斑块中陆地比例的阈值R，顶点K拓扑连接和输入序列长度，将ENSO-GTC调优到最优。然后我们将最优模型与其他最先进的DL模型进行比较。其次，在验证期利用ENSO- gtc进行ENSO预报，考察其有效预报提前时间、持久性障碍改进和预报误差分析等预报技巧。第三，我们分析了ENSO- gtc的物理可解释性，通过可视化学习的非相邻关系来解释ENSO中的自然规律和物理机制，如海洋记忆的空间遥相关和滞后相关性。

4.2. 最优模型

我们按照第3节所述的方法构建模型，详细的模型配置如表1所示，这是在我们现有的计算资源(一台GPU为NVidia RTX 3090的服务器)下经过大量实验后的适当参数设置。概率图卷积在GTC中包含2层，这是一个足够的深度。有一些讨论认为，更深层次的图卷积结构等于将所有顶点相互连接，破坏了数据的图结构(Zhou et al, 2021)，严重阻碍了性能。patch size为𝐴𝐴30◦× 30◦，充分平衡了模型性能和计算资源。此外，本表中的tbd表示后续实验中的“待讨论”，包含了所有对ENSO预测技能有突变影响的超参数。

4.2.1. 最优超参数的确定

阈值r决定了斑块中陆地栅格的比例，这可能会干扰模型在海表温度演化过程中提取特征。顶部k拓扑连接决定了潜在遥连接的规模，根据实际动力机制，遥连接应满足物理约束。

此外，输入序列长度对于深度学习模型提取历史趋势和周期性也很重要。因此，在本节中，我们将通过调整这三个参数来研究联合效应，然后确定最佳设置。结果如图8所示。请注意，K也被转换为非相邻关系(拓扑图)中新连接与总连接的比率，而对应的是这些实验中的模型都对下一个月进行预测。这些线代表了下个月预测的Niño3.4相关技能，在很大程度上可以反映模型在一定超参数设置下的表现。x轴表示不同的K值，线的颜色表示不同的阈值r。四个子数字应用不同的输入序列长度。

 

 图8。模型的性能随着不同的超参数设置而变化，包括输入序列长度、patch中土地比例的阈值r和顶点k拓扑连接。

对比所有子图，随着相关技能的提高，增加输入序列长度对模型性能有很大的正向影响。但当输入序列长度大于6个月时，这种改善不明显。我们认为6个月的输入是我们模型的资源费用和预测技能之间的有益权衡。此外，这也表明，盲目增加输入序列长度并不一定会导致ENSO DL预测模型的性能显著提高。

尽管历史数据中隐藏着丰富的时空信息和趋势信息，但较高的混沌和噪声干扰了特征提取。事实上，大多数气象DL模型通常使用较短的输入序列。

例如，Zhang et al(2019)利用前两个连续时间数据估计热带气旋强度，Ham et al(2019)利用前3个月的SST和风数据预测ENSO演变。这表明，对于DL预测模型来说，需要仔细确定足够的输入序列长度，以实现平衡甚至最优的性能。

在每个子图中，从阈值r的角度可以看到，绿色线(r= 0.7)一直高于其他线，黄色线(r= 0.8)的性能略好于蓝色线(r= 0.6)。造成这种现象的原因有两个。一方面，输入斑块越大，所包含的土地越多;但是HadiSST数据集中不涉及土地网格的值(对于所有patch，我们必须在土地网格上填0)。因此，覆盖面积较大的斑块严重限制了模型对enso相关海温底层机制的学习能力。另一方面，一个小的阈值𝐴𝐴𝐴𝐴会导致靠近大陆的沿海地区被大量抛弃，这导致一些与enso相关的关键沿海动力机制被严重忽视。例如，当𝐴𝐴𝐴𝐴设置为0.6时，东北太平洋和南美海岸都被排除在模型模拟区域之外。这两个区域在ENSO演化过程中表现出非常关键的动力机制。例如，东北太平洋的WES反馈是ENSO发生的关键信号，南美洲海岸赤道上升流的状态影响东太平洋暖水的积累，这也是ENSO可预测的重要前兆。因此，𝐴𝐴𝐴𝐴的设置对于ENSO的预测技能至关重要，它应该覆盖ENSO的重要动态过程和活动区域。

对于参数K，我们可以看到所有子图中的每条曲线在K= 0.15处都有一个明显的转折点，这也是峰值点。直观地说，如果𝐴𝐴𝐴𝐴设置得太小，拓扑图的复杂性就太小，无法描述复杂的潜在关系。相反，如果将K设置为较大，则拓扑图中的许多连接是强制制造关系，这与ENSO动态机制不一致。

以上分析表明，这三个参数都对模型性能有显著的影响，我们应该仔细确定它们的取值。在后续的实验中，除了将patch size设置为30◦× 30◦外，我们将历史6个月的SST作为模型输入，设置r= 0.7，K= 0.15，这是最优的模型结构。同时，根据我们的数据集，当前的设置是最优的，可能有些过拟合。特别是，深度学习模型的超参数应该根据不同的数据集仔细调优，包括这里的r和K，这是一个共识。

4.2.2. 与其他先进模型的性能比较

在优化模型的基础上，我们将ENSO-GTC与其他一些先进的时空序列预测DL模型进行了比较，包括(1)ConvLSTM (Xingjian et al, 2015)，这是第一个将CNN和RNN耦合起来的模型。LSTM)在一起。(2) PredRNN (Y. Wang, Long, et al, 2017)，改进特征转移方法，自适应捕获短期和长期时空依赖关系。(3) PhyDNet (Guen & Thome, 2020)，使用自监督单元模拟先验PDE(偏微分方程)动力学，以补充未知时空信息。(4) MIM (Y. Wang等，2019)，利用连续视频帧之间的差分信号来建模非平稳时间相关性。(5)我们之前的ENSO DL预测模型ENSO- asc (Mu, Qin， & Yuan, 2021)。(6)采用迭代策略的ENSO-GTC。(7)采用直接战略的ENSO-GTC。

从时空记忆提取的角度来看，除最基本的模型(1)外，模型(2-4)都更关注全球海表温度演化过程中的瞬时变化。模型(5)涉及一个时间注意权重，自动调节ENSO中的长、短时记忆。从模型输入和区域来看，模型(5)是由多个物理变量馈送的，且仅覆盖太平洋地区。其他的使用全局海表温度数据。此外，模型(1-6)采用迭代策略，模型(7)使用直接策略。我们在相同的海表温度数据集上训练和评估它们，除了模型(5)，它仍然使用原始设计的多元数据集，然后对前18个月进行预测。Niño3.4相关技能的比较见表2。(注意，模型(1-5)的配置都调优到最优。)

从直观上看，模型(7)在表中明显优于其他模型，特别是在18个月的预测中，这表明直接策略是更好的选择。重要的原因在于，直接策略需要每个超前月的单独模型，不像迭代策略那样受累积预测误差的影响。

此外，在迭代策略方面，模型(2-6)都优于基本模型(1)，这是因为它们在ENSO演化过程中对内存持久化和传输进行了扩充。其中，模型(4)和模型(5)较模型(2)和模型(3)略有改善。模型(4)额外考虑了海表温度异常的重要性，识别了异常场与背景的短期耦合。模型(5)巧妙地模拟了多个变量之间的相互作用，通过不同的注意权重关注短期/长期的多元贡献。这是模型(2)和模型(3)的不足之处。而且，模型(4)和模型(5)在不同先行月的表现相似。尽管如此，模型(4)/(5)与模型(6)在性能上仍然存在差异。因为模型(6)不仅考虑了全球海表温度品种的遥相关(这是模型(5)的不足)，而且考虑了动态图的时空短长记忆(这是模型(4)的不足)。

此外，对比模型(6和5)，我们发现15个领先月有较大的增强，ENSO-GTC从12个领先月到15个领先月的技能下降也较小。这表明ENSOGTC在长期预测中比ENSO-ASC具有更高的预测技能持续性。我们认为动态图在这种情况下起着至关重要的作用。另一方面，模型(5)虽然只覆盖了太平洋地区，但由于多元耦合，其性能已经达到了较高水平。因此，我们推测，在ENSOGTC中加入更多的物理变量将在未来迈出一大步。

4.3. ENSO-GTC的预测技巧

4.3.1. 有效预测领先月

长期ENSO预报一直是气象研究中的一个难题，具有很高的研究价值，但也很困难。在确定最优模型结构后，在验证期分别采用迭代和直接策略将预测提前时间逐步延长至20个月，考察ENSOGTC的长期预测技能，然后计算三个Niño指数的月度相关技能。结果如图9所示。

图9。三个Niño指数的月度相关性技能。实线代表直接策略虚线代表迭代策略。

总的来说，无论使用哪种策略，Niño相关技能都会随着领先月份的增加而减少。但在18个领先月内仍能保持0.5以上(迭代策略中的Niño4相关技能除外)，优于其他DL模型如表2所示。具体而言，直接策略的相关技能下降速度(图9实线)一般较慢且呈线性。其Niño相关技能在20个月预测内均在0.6以上，大大优于迭代策略，在很大程度上提高了ENSO预测的上限。我们认为直接策略的预测技能主要受ENSO可预见性随领先月增加而降低的影响。在迭代策略(图9中的虚线)中，相关技能呈非线性下降，呈现出减少-持续-减少的趋势，并且在减少阶段的下降幅度比直接策略更大。迭代策略的Niño3.4相关技能在6个月/12个月/18个月预测时为0.79/0.66/0.51。在短期领先月(8个领先月以内)，由于迭代过程中累积的预测误差，预测技能从较高水平(0.9以上)下降到中等水平(0.7左右)，这也是由于ENSO可预测性的下降。对于技能持续阶段(8-14个领先月)表现出平稳的相关技能，我们认为主要是由于ENSO-GTC具有较高的泛化性，可以容忍较大的累积预测误差，在一定程度上能够做出相对准确的预测。高泛化来自于我们设计的模型，它结合了先验的ENSO知识。

随后，在长期先行月(超过14个月)，累积误差过大，超过泛化，ENSO可预测性较低，这都导致了第二次快速下降。在其他ENSO深度学习预测模型甚至数值模型中，也出现了8-14个领先月左右相关技能的平台化现象(Hong et al, 2018;Mu等，2022;Yan & Yu, 2012)。我们认为预测模型的物理可解释性越高，其泛化能力越强。这也表明，结合先前的ENSO物理知识(即PINN)可能是未来ENSO深度学习预测模型的标准范式。

详细比较迭代策略和直接策略的相关技能，发现迭代策略中位置越东的Niño指数(即Niño 3> Niño 3.4 > Niño 4)， ENSOGTC的预测技能越好，而直接策略中位置依赖性不明显。从ENSO物理特征看，Niño 4区域海表温度受NPMM (Amaya, 2019)影响尤其明显，NPMM为亚热带过程，变化不确定性较大，导致预报误差较大。在偏东的区域(即Niño 3区域)，海表温度主要由温跃层反馈过程调制(Jin & An, 1999)，其中包含相对较小的不确定性和预测误差。因此，在迭代过程中，Niño 4和Niño 3.4区域的预测误差更容易累积并不断放大，这表明对应Niño指数的相关技能下降得更快，而位置偏东的Niño指数的相关技能下降得更好。直接策略的预测技巧不受累积误差的影响，累积误差只与不同Niño区域的预测不确定性有关。因此，它对所有Niño索引显示了大致相同的技能。(Niño 3指数的相关技能略高于Niño 3.4/4指数)。此外，从两种策略中三个Niño指标的影响程度分别(即迭代和直接策略中各个Niño指标的关联技能差异)可以发现，Niño 3指标受影响最小，Niño 4指标受影响最大。我们还可以推断，仅使用海表温度作为ENSO预测的输入，不足以用于全球海表温度的预测。这促使我们在未来的ENSO深度学习预测模型中加入更多的物理预测因子。

综上所述，采用迭代策略的ENSO-GTC可以在18个领先月内提供有效的预测(Niño相关技能大于0.5)，而采用直接策略的ENSO-GTC在20个领先月内具有更高的预测技能，相关性大于0.6。但直接策略需要针对不同的领先月份制定单独的模型。因此，这启发我们，当计算资源充足时，直接策略可能更适合长期操作的ENSO预测。

4.3.2. 持久性障碍的改进

持续性障碍(PBs)广泛存在于许多数值和统计的ENSO预测模型中(Kirtman et al.， 2001)，通常出现在北方春季(3 - 4 - 5月)和夏季(6 - 7 - 8月)(Ren et al.， 2016)。从图9中直接策略和迭代策略的技能减少率预测分别为线性趋势和减少-持续-减少趋势，我们推断具有直接策略的ENSO-GTC不会遇到PBs，具有迭代策略的ENSO-GTC可以大大降低PBs的影响。因此在本节中，我们做了详细的实验来验证这一猜想。

对于直接策略，我们在验证期以12- 18个月的提前期进行ENSO预测，并显示Niño3.4的变化以及观测结果(即Niño3.4指数从观测数据)，如图10所示。黑线是地面真相，两条彩色线是ENSO-GTC的结果。图例中的数字是对应的相关技能。

图10。采用12-(蓝色)/18-(黄色)月直接策略的ENSO-GTC模型在验证期(2011.12-2021.3)的预测结果。黑线是基本真理。图例中的数字是对应的相关技能。

这两个预测都与观测值非常相似，12个月预测的相关性技能为0.78(黄线)，18个月预测的相关性技能为0.65(蓝线)，预测结果与观测值之间的月度𝐴𝐴MSE分别为0.17和0.30。这两个预报显示了ENSO-GTC的高准确性，特别是2015/2016年超级厄尔尼诺Niño。同时，振幅和相位与观测值基本一致。然后，我们以每月𝐴𝐴MSE的形式分别计算了这两个预报在3月至8月(春夏)的月度预报误差。12个月和18个月的预测结果分别为0.16和0.20，几乎等于总平均误差。其中，2018/2019年弱El Niño在3 - 8月的月预测误差分别为0.05和0.08,2015/2016年超强El Niño的月预测误差分别为0.14和0.22，与平均误差相当甚至更好。我们认为直接策略的预测结果不经过春季或夏季的迭代，从而避免了累积误差的产生。这与迭代策略的行为完全不同。因此，具有直接策略的ENSO-GTC几乎不受(春季或夏季)PBs的影响。这也是其长期预测技巧高超的原因。

对于迭代策略，我们按照Hou et al. (2019)， Hu et al.(2019)的建议，使用不同的预测起始日历月进行长期预测，并分别计算每个先行月Niño3和Niño4指数的月度相关技能。结果如图11所示。在该图中，横轴表示不同的领先月份，纵轴表示不同的预测开始日历月。

颜色的单元格代表Niño3/Niño4指数的相关技能，单元格颜色越深，预测技能越高(阴影线的单元格表示相关性高于0.5)。单元格上的白色数字代表日历月份的预测。

总的来说，对于这两个指数，OND(10月、11月和12月)的预测通常具有较低的技能，颜色较浅，阴影线细胞较少，而MJJ(5月、6月和7月)的预测具有较高的技能，颜色较深，阴影细胞较多。OND的预测即将迎来春夏两季，这大大增加了预测误差，干扰了后续迭代，预测技能迅速下降。这说明迭代策略在一定程度上受到PBs的影响。

然而，PBs的影响是有限的。在定量上，Niño3预测在21个领先月的平均月相关技能下降为0.03，所有预测都是在日历月开始的。3月1日和4月的平均月相关技能下降为0.04(图11a中的白色数字，通常出现在Niño3预测的春季PB中)，3月2日和4月为0.02。Niño4预测具有与Niño3指数相似的行为。Niño4预测的平均月相关技能下降也为0.03，所有预测都开始于日历月。4月1日和5月的平均月相关性技能下降为0.05(图11b中标记的白色数字，通常出现在Niño4预测的初夏PB中)，4月2日和5月为0.02。第一个PB的性能下降总是略高于平均值，这表明PB的影响。第二次下降小于平均值，这是因为采用迭代策略的8/14个月技能持久性弥补了性能损失，如图9所示。此外，与ENSO-ASC相比，春季和夏季ENSO-GTC的相关技能月平均下降为0.06在数值上受PBs影响较小。说明提取全球海表温度品种信息有利于弱化PBs。这也是ENSO-GTC比采用迭代策略的ENSO-ASC具有更高技巧的原因。

图11。在不同日历月开始预报时，采用迭代策略对ENSO-GTC验证期内Niño3 (a)和Niño4 (b)指数的月相关性技能进行分析。单元格的颜色越深，表示模型的技能越高，阴影线的单元格表示技能在0.5以上。

此外，在图11中，Niño4的相关技能整体上低于Niño3，颜色更浅，阴影线的单元格更少。这意味着仅使用SST是不足以提高Niño4区域预测技能的。未来将会有更多的物理变量参与GTC，根据复杂的ENSO动力机制进行变量间的能量相互作用。

4.3.3. 预测误差分析

通过对超前月和PB的分析，我们知道在迭代策略中预测误差的传递是不可避免的。在本节中，我们使用最优模型在验证期内使用迭代策略进行18个月的预测，然后计算每个领先月的预测与观测之间的网格相关性，形成预测误差热图，如图12所示。请注意，我们仍然使用相关性来衡量预测误差。颜色较深的区域代表较大的预测误差。

在该图中，从3- 18个月的领先时间，空间误差逐渐从赤道西太平洋向全球扩展。具体而言，我们发现短期(3-9个月)和长期(12-18个月)预测误差的演变幅度和模式明显不同。所以我们把整个过程分为两个阶段。即阶段1从(a)到(c)，反映了预测误差的带状扩展。阶段2从(d)到(f)，显示出严重的经向误差向全球扩散。

在阶段1中，明显的空间误差首先出现在赤道西太平洋(图12a)。然后，随着迭代预报的推进，这些误差呈带状扩展到整个热带太平洋和其他洋盆，如热带印度和大西洋。阶段1中的误差传播缓慢且很小。我们认为这主要是由于ENSO-GTC预报技能的高持久性。此外，预报误差主要集中在回归线，首先出现在赤道太平洋上空，其变化趋于诱导通过短记忆海气耦合和Walker环流状态对其他海洋产生重大影响(Cai et al.， 2014)。更具体地说，ENSO诱导的Walker环流变化往往导致ENSO发展阶段的海温偶极子型(Indian Ocean dipole, IOD)，通常与ENSO有3个月的滞后(图12a)。太平洋中部海温异常正，导致热带太平洋沃克环流上升分支和热带大西洋相应的下降分支，进而诱发大西洋区域Hadley环流异常，导致热带北大西洋经向风异常和海温异常(NTA) (García-Serrano et al, 2017)。综上所述，上述两种机制将太平洋海温预报误差传播到热带印度洋和大西洋，如图12a-12c所示，热带海洋预报不确定性较大，预报误差呈纬向扩大。一般来说，在这一阶段，大多数斑块的相关性都不低于0.5。

图12。采用迭代策略的ENSO-GTC验证期内的月预报误差。较暗的区域代表较大的预测误差。(a-c)反映了预测误差的带状扩展，标记为阶段1。(d-f)向全球呈现严重的经向误差传播，标记为阶段2。黄色箭头表示预测误差传播方向。

在阶段2，空间误差主要集中在太平洋，最明显的变化是不确定度向南太平洋的经向扩散，并突然发展到峰值(图12e)。我们认为，这主要是由于热带印度洋和大西洋在长期领先月份累积的巨大预报误差的反应。在ENSO发展阶段，ENSO- gtc在这两个区域产生较大的预报误差(图12a-12c)后，这些误差可以通过“印度洋电容效应”(Xie et al, 2009)和“大西洋电容效应”(L. Wang, Yu, Paek, 2017)在较晚的提前期传导到西北和东北太平洋(图12d-12f)，这明显表现为亚热带太平洋的大预报误差。此外，太平洋上空的空间误差也有一定程度的放大，尤其是西北太平洋(图12f)。这主要是由于迭代预测中累积误差的增加和较长期海表温度品种的内在可预测性的降低(Fang & Xie, 2020)。除此之外，我们还推断南太平洋的大误差可能与长记忆海浪有关(An & Kim, 2018)。

由于ENSO-GTC在长期预报技能持续性上有些失控，导致Kelvin波和Rossby波引起的关键海温迁移和反射的描述不正确，造成南太平洋严重的相位畸变。这也是大多数使用迭代预测的模型的一个共同问题。

从这两个阶段整体来看，尽管ENSO-GTC能够以高物理一致性学习全球遥相关，但它在热带大西洋和印度洋仍然表现出较大的预测误差，特别是在短期领先月份(图12a-12c)。我们认为这主要是由于两个原因。一方面，热带大西洋(图2a的Patch#9)和印度海洋(图2a的Patch#12)的地形特别复杂，这意味着陆地处理方法(即在陆地网格上填充0)可能会导致这些地区的海表温度在一定程度上的扭曲。因此，ENSO-GTC不能很好地把握关键的沿海动力过程，预报误差较大。另一方面，GTC所学习到的较强的遥相关可以使预报误差更容易传播。也就是说，GTC捕捉到了热带海洋之间的强遥相关，这使得累积的误差更容易从太平洋传播到热带大西洋和印度洋。因此，这些分析激励我们设计更可靠的土地处理方法或将边界条件纳入ENSO深度学习预测模型。此外，我们还将在未来使用因果推断来过滤学习到的拓扑图中的伪相关性。

图13。使用ENSO-GTC预测不同输入序列长度下个月海表温度时学习到的拓扑图。区域颜色越深，连接的可能性越大，这意味着潜在的时空遥相关。

综上所述，短期预报误差(阶段1)主要出现在赤道海域，长期预报误差(阶段2)主要出现在南太平洋海域。这些预测误差与沃克环流的短记忆效应和多个海浪的长记忆传播有关。然而，在ENSO-GTC的第2阶段，赤道太平洋的相关系数没有明显波动。这表明ENSO- gtc是一个可靠的ENSO预报工具。同时，这些分析也为未来GTC的升级提供了一些启示。模型的输入变量需要充分考虑大气变量和海洋变量，它们代表了短记忆的海气耦合和长记忆的海浪反馈。

4.4. ENSO-GTC的物理可解释性

ENSO- gtc的观测结果是可以解释的，这是对ENSO DL预报模型的最大改进。在本节中，我们将可视化和比较由不同输入序列长度的概率图卷积层挖掘的拓扑图，然后解释GTC学到的东西。

我们构建了4个输入序列长度为3-/6-/9-/12个月的enso - gtc，并分别对验证期内的下个月进行了预测。学习到的(平均)拓扑图分别如图13所示。在每个子图中，横轴/纵轴表示输入序列中的小块，虚线每个月分开，其中(−1)表示输入中的第一个月，(−2)表示输入中的第二个月，等等。所以每一个虚线框都是一个𝐴𝐴34 × 34矩阵(34为补丁号)，其中的每一个点都代表连接补丁之间的遥连强度。此外，颜色越深的区域表明对应的斑块对具有更高的潜在时空相关性。例如，在每个子图中，水平轴为(- 1)的列的左半部分总是显示出最暗的颜色，这意味着(- 1)月份的这些区域(热带太平洋、大西洋和印度洋，如图2a所示)与其他输入月份的所有其他补丁具有最强的时滞遥相关。

这四个子人物有共同的特点。它们都呈现出几个明暗交替的垂直带，并且在不同的超前月份突出的斑块的详细分布也很有规律。这些重要和敏感区域(如东太平洋-北太平洋和赤道印度洋/大西洋)的统一格局和物理特征以突出的斑块表示，完全符合多个ENSO理论。说明GTC从数据中学习到了特定的物理机制。我们将详细说明如下。

4.4.1. 延迟振荡器理论

横轴为(−1)的区域(标记为band 1)和横轴为(-5/-6/-7/-8)的区域(标记为band 5678)是所有子图中最显著的两个高亮区域。更具体地说，Band-1的左半部分和Band-5678每列的右半部分(在图13c和13d中更明显)是这些子图中更显著的模式。综合比较，我们发现中间的斑块(即图2a中的热带太平洋)被两个波段所覆盖，并且带1和带5678之间至少有7个月左右的间隔，这表明该区域在7个月左右与全球海温变化表现出两次强相关性。我们认为这主要是由于延迟振荡器理论。ENSO激发的Rossby波的反射和Kelvin波的传播通常会引起ENSO的相位转换，这一过程通常需要7个月左右，这意味着当前海温状态(带1)与前5-8个月海温状态(带5678)有很强的相关性。因此，ENSO-GTC的研究可以在一定程度上把握热带太平洋的滞后相关性，反映滞后振子理论。此外，这也为今后建立ENSO DL预报模型提供了一个极其有效的建议:使用至少6个月的历史数据作为模型的输入更为合理。

4.4.2. 太平洋经向模式的重要性

Patch #1/#2(图2中中纬度太平洋东北方)和Patch #15/#16/#17(图2中中纬度南太平洋)是每个领先月的两个最重要区域。这两种模式也与北太平洋和南太平洋经向模态(NPMM和SPMM)一致(Larson & Kirtman, 2013;H. Zhang et al, 2014)，这些被认为与ENSO的演化密切相关。由NPMM/SPMM引起的赤道外东北/东南信风变率改变了潜热通量和海温，然后推导出风-蒸发-海温(WES)反馈(XIE & Philander, 1994)，将信号传播到热带，从而导致ENSO变率。这些演化更有可能出现在极端ENSO中(如2015/2016年El Niño) (Jia et al.， 2021)，这往往会延长持续时间并放大振幅。

最近，越来越多的研究表明，pmm是ENSO的前兆或敏感区域，应加强监测。

4.4.3. 三个赤道海洋的遥相关

1/ 2/ 3波段的9/ 10/ 11号补丁(图2中赤道大西洋)和5678波段的19/ 20/ 21号补丁(图2中印度洋)也是对ENSO预报有影响的区域，通常会显示突出的亮区。这是在追踪来自大西洋和印度洋的变化对ENSO的潜在远程影响。在这些过程中，沃克环流充当了一个大气桥梁，起着关键作用。例如，印度和大西洋海温对ENSO变率都有显著的阻尼作用，并促进了ENSO周期的缩短(Kug & Kang, 2006;Terray等人，2016)。印度洋海温和大西洋海温的变化可以诱发赤道西太平洋的东风应力异常和东北太平洋NPMM的东风应力异常，它们对ENSO的衰减和发生有重要作用，分别滞后于ENSO 2个月和8个月，恰好与亮斑出现的位置一致。

除了上述三个特征外，我们还可以推断出GTC学习到的潜在遥相关不受输入序列长度的影响。例如，图13a与图13b左下角的𝐴𝐴3 × 3图案非常相似，图13b与图13c左上角的𝐴𝐴6 × 6图案非常相似(与图13c和13d相同)。这说明GTC能在很大程度上保持物理一致性，在揭示ENSO潜在物理机制方面表现出稳定性和优越性。另外，图13d中亮带的分布略有不同。其他一些亮带也会出现，比如在Band-10/-11/-12。我们推测，这可能是由于ENSO的年际周期，使得带10/-11/-12海温状态与带1/-2/-3海温状态相似。因此，GTC错误地认为这些波段的斑块在海温预报中具有较强的瞬时性，这一点应在今后的研究中引起注意。

值得注意的是，图13中的拓扑图是用行来解释的，行指的是公式10和11的计算。其中，对于某一行中任意一个patch𝐴𝐴𝐴𝐴，其与其他patch的遥相关强度分别为𝐴𝐴𝐴𝐴𝑖𝑖，∶。为了得到𝐴𝐴𝐴𝐴𝑖𝑖，∶，我们首先测量修正后的相似度𝐴𝐴𝐴𝐴'𝑖𝑖，∶，用𝐴𝐴Sof tmax(⋅)算子逐行归一化，然后收集每行最上面的𝐴𝐴𝐴𝐴数。在这个操作中，潜伏

每个patch的遥相关都是独立计算的，𝐴𝐴𝐴𝐴topo中每一行的结果不影响其他行。这种操作的优势在于保持物理一致性。所有的遥相关评估都在一个方向上(从中心补丁到其他补丁)，使得得到的邻接矩阵𝐴𝐴𝐴𝐴topo在遍历所有补丁时遵循相同的准则，使得公式12的计算更加可靠。这也是为什么Band-1和Band-5678没有详细的颜色衰减或变暗，但程度相似的原因。每个补丁都独立地学习到Band-1和Band-5678的强连接，并且在拓扑图中显示出相似的程度。在未来，我们将通过加入因果推断来改进GTC，它可以沿着时间轴全面地规范化列和行中的因果关系。

这样，拓扑图的水平方向和垂直方向都包含了物理意义。

5. 相关的工作

在广泛的研究领域中，积累和记录着大量的图数据，这些图数据与经典的欧氏网格数据有着不同的形式。如文章引用图、成员关系图、人体骨架图、流量图等是最具代表性的图式数据。随着深度学习的进一步发展，利用图卷积(Bruna et al, 2014)提取图上节点之间的相关性的浪潮兴起，近年来表现出优异的性能。许多研究已经说明了为什么图卷积可以在图风格数据上取得巨大的飞跃。

在确认了图卷积在多次预测和分类中的优势后，数据工程师尝试使用该技术挖掘出原始物理图之外“不存在”的隐式连接，可视为拓扑图(Chen et al, 2021;Liu et al, 2021)。在图卷积的基础上，提出了两大改进:物理连接修改和拓扑连接建立。

对于物理连接的修改，很多研究通常以不同的方式对已有的物理连接赋予权重。例如，许多距离计算方法被用来重新加权节点距离，以更准确地描述物理连接的状态，如马氏距离(Li et al, 2018)和曲率(Z. Ye et al, 2019)。Rossi等人(2020)在图上的节点特征聚合之前应用节点内存更新，以吸收图上节点与其邻居之间的交互。velikovovic等人(2017)引入了定制的注意力模块来计算节点之间的距离，增强了关键的物理连接，削弱了似是而非的连接。此外，Rong等人(2019)在网络的前传播中提出了drop edge策略，以修剪不必要的物理连接。事实上，这些研究改进了图卷积中的拉普拉斯矩阵，促进了对神经网络实际图结构的理解。

在拓扑连接的建立方面，设计了更为动态的拉普拉斯矩阵生成方法。Yang等人(2019)通过评估连接节点之间必须链接和不能链接的关系来更新拓扑图。X. Wang等(2020)通过节点的物理意义提取拓扑图，并通过物理一致性和视差约束验证其有效性。总的来说，这些研究发展了一种面向任务的图增强方法，揭示了实际任务中的隐式关系。

我们在GTC中提出的概率图卷积就是这两种方法的结合。我们从时间和空间的角度利用动态图(包括相邻关系和非相邻关系)来保持物理一致性，并进一步以概率分布的形式描述底层的遥相关，这是图卷积中的一种创新。

6. 结论

我们延续之前提出的热带太平洋多元海气耦合(ASC)，考虑全球三大洋的相互作用，构建了一个海气耦合。这个耦合器将太平洋、印度洋和大西洋切割成小的海洋斑块，并构建了一个动力学图来研究遥相关。在动态图中，根据明确的地理/时间邻居信息人工设计相邻关系，并通过深度学习方法从数据中学习非相邻关系。基于GTC，提出了一种包含4个子模块的ENSO-GTC预测模型。概率图卷积层的设计是为了学习动态图中的非相邻关系

小海洋斑块之间潜在的遥相关。我们设计了一个具有图总变分惩罚项的损失函数，以保持非相邻关系中的物理一致性。

对于ENSO-GTC，我们首先将其调至最优，并将其与其他最先进的DL预测模型进行比较。然后，我们评估了它的预测能力，并研究了它的物理可解释性。利用长期观测海温数据集(HadiSST)对ENSO-GTC进行训练和验证。预测结果和观察结果的相关性被用作技能度量(标记为相关技能)。一些重要的结论可以总结如下:1。海洋斑块中陆地比例的阈值𝐴𝐴𝐴𝐴、顶部𝐴𝐴𝐴𝐴拓扑连接和输入序列长度是三个最重要的超参数。我们仔细地调整它们以使ENSO-GTC最优。通过比较，ENSO-GTC比我们之前的模型(ENSO-ASC)和其他DL模型(ConvLSTM, PredRNN, PhyDNet, MIM)具有更高的性能。采用直接策略的ENSO- gtc优于采用迭代策略的ENSO- gtc，表明直接策略可能更适合于实际ENSO预报。具体而言，采用迭代策略的ENSO-GTC的绩效(相关技能)比其他最佳模型(ENSO-ASC)高出约2点，在6-/12-/18个月的预测中表现出Niño3.4指数0.79/0.66/0.51的相关技能。直接策略在18个月提前期的相关技能为0.68。

2.  采用直接策略的ENSO-GTC在前20个月表现出缓慢的线性下降，而采用迭代策略的ENSO-GTC表现出减少-持续-减少的趋势，并且持续阶段通常出现在8-14个月。结果表明，采用直接策略的ENSO-GTC在长期预测中几乎不受持久性障碍的影响，而采用迭代策略的ENSO-GTC在很大程度上削弱持久性障碍。预报误差分析表明，短期预报误差集中在热带地区，这主要与Walker环流的短记忆效应有关。

长期预报误差在经向上向太平洋中高纬度地区扩散，这与多个海浪的长记忆传播有关。

3.从亮带和高亮斑块的分布中，我们发现GTC所了解的与多个ENSO理论完全吻合。学习到的拓扑图在热带太平洋表现出明显的6个月滞后相关性(在带1和带5678之间)，这表明了延迟振子理论。

北太平洋和南太平洋经向模态(斑块#1/#2中的NPMM和斑块#15/#16/#17中的SPMM)与ENSO的演变密切相关，应加强监测。赤道印度(Patch#9/#10/#11)/大西洋(Patch#19/#20/#21)和太平洋之间的遥相关非常重要，通常在ENSO之前有2个月/8个月的滞后相关性。此外，ENSO-GTC学习到的非相邻关系(远连接)不受输入序列长度的影响，表现出稳定性和物理一致性。

对更高的ENSO预测技能的需求是永无止境的。将先验物理知识整合到深度学习模型中是当前的主流趋势。ASC (Mu, Qin， & Yuan, 2021)研究了赤道太平洋上空的关键动力机制，是一次成功的尝试。GTC学习相邻和非相邻小海洋斑块之间的全局遥相关，取得了更优越的性能。未来，我们将在深度上考虑全球海洋的多元耦合和遥相关，构建更精细的ENSO DL耦合器。同时，我们还将因果关系发现纳入DL耦合器中，挖掘ENSO的meta特征和物理机制，如最优前导信号、最优生长误差、目标观测敏感区域等。