【读论文01】- 时空预测 TGCN-LSTM、TGCN-GRU和Attention-TGCN

标题【读论文01】-时空预测 TGCN-LSTM、TGCN-GRU和Attention-TGCN

Abstract

存在问题：目前，大多数预测模型侧重于单个监测点位移的时间相关性，而忽略了其他监测点的空间影响。
解决方案 ：为充分考虑位移数据的时空特征，文中开发了3种基于图卷积网络的深度学习模型，对黄连树滑坡滑坡的滑坡位移进行时空预测。
具体做法：我们首先建立一个全连通的图来表示所有部署的监控点的空间关系。其次，我们开发了基于时间图卷积网络-门循环单元 （TGCN-GRU） 深度学习模型的时间图卷积网络长短期记忆 （TGCN-LSTM） 模型和Attention-TGCN 模型，并利用这三种模型对黄连树滑坡的位移进行时空预测。
效果：所提出的时空预测模型准确预测了 7 个监测点的位移，最大 R^2= 0.85。对比结果表明，所提出的 Attention-TGCN 模型实现了最高的时空预测精度，在考虑监测点的运动后，Attention-TGCN 模型的精度可以进一步提高。

1. Introduction

引出话题
滑坡作为全球常见的地质灾害，在中国占比超过一半，其频繁发生导致巨大的经济损失和人员伤亡，因此加强滑坡预警和位移预测对于灾害防治和早期预警具有重要意义。
目前发展
近年来，随着GPS和LiDAR等数据采集与传输技术的飞速进步，边坡监测位移数据的获取变得更加丰富和精确，这些时间序列数据不仅全面揭示了边坡的稳定性与变形特征，也为基于监测数据预测滑坡位移提供了最为常见且有效的评估手段。
边坡的变形特性受地貌条件、岩土工程特性、降雨量、地震及人类工程活动等多重因素的综合影响，这些因素的相互作用使得斜坡时间序列位移数据间呈现出复杂的非线性关系，而深度学习凭借其强大的非线性数据处理能力，通过深度网络结构提取数据特征并实现精准表示，为滑坡位移预测中复杂非线性问题的解决提供了新的契机。
当前，众多深度学习模型如卷积神经网络（CNN）、递归神经网络（RNN）及其变体长短期记忆网络（LSTM）和门控循环单元（GRU）已成功应用于滑坡位移预测，并在多个工程实践中取得了令人满意的成果，其中LSTM和GRU模型表现尤为突出。
存在挑战
尽管现有滑坡位移预测模型取得了显著成果，但大多数基于单一监测点时间序列位移数据的深度学习模型存在明显局限：一是忽视了监测点间的空间相关性，二是难以全面揭示滑坡的整体变形特征，三是针对多监测点的复杂滑坡，单独分析各点会显著增加时间和计算成本，降低效率。因此，迫切需要开发一种能够综合考虑整个边坡监测系统空间相关性的滑坡位移预测方法。
引出时空预测方法
近年来，基于区域的时空预测方法在交通预测领域取得了快速发展，例如Zhao等人提出的时间图卷积网络（T-GCN），通过同时考虑空间和时间依赖性来预测交通流量，其核心思想是将交通流量数据转化为图结构数据进行预测。借鉴这一思路，我们此前的研究尝试将边坡监测系统视为图结构，并利用T-GCN模型对滑坡位移进行时空预测。然而，由于位移数据集的局限性，模型预测性能的分析存在一定误差，表明该方法仍需进一步优化和完善。
本文方法
为了进一步提升基于数据的时空预测方法在滑坡位移预测中的应用效果，本文基于黄连树滑坡监测的时间序列位移数据，采用三种深度学习方法对滑坡位移进行了时空预测研究。首先，构建了一个全连接图以捕捉所有监测点之间的空间相关性；其次，提出了一种时间图卷积网络-长短期记忆（TGCN-LSTM）模型和一种基于时间图卷积网络-门控循环单元（TGCN-GRU）的Attention-TGCN模型；随后，利用TGCN-GRU、TGCN-LSTM和Attention-TGCN三种模型对黄连树滑坡的位移进行了时空预测；最后，对比分析了三种模型的预测性能，并探讨了监测点位移对时空预测精度的影响。

2. Methods

研究区域
黄连树滑坡:2012 年 5 月 31 日，暴雨导致滑坡（80 × 10e4 m3）
监测点 GPS 1、GPS 2、GPS 3 和 GPS 4 位于滑坡的后缘附近、监测点 GPS 6 和 GPS 7 位于变形区，监测点 GPS 5 位于崩解区附近。
研究方法

2.2.1概述

本文基于黄连树滑坡监测的时间序列位移数据，采用TGCN-LSTM、TGCN-GRU和Attention-TGCN三种深度学习模型对滑坡位移进行时空预测：首先对位移数据进行预处理，将其转换为7×358的位移矩阵；其次构建黄连树滑坡监测系统的全连通图，并表示为7×7的邻接矩阵；最后以位移矩阵和邻接矩阵为输入，利用开发的三种模型进行时空预测。

2.2.2 位移数据的预处理

1. 位移数据的 ADF 测试

通过增广的Dickey-Fuller（ADF）检验，确认黄连树滑坡7个监测点的时间序列位移数据均为平稳序列，为后续分析提供了可靠基础。
2. 数据填充

原始位移数据集大小为 7 × 158，本文对时间序列位移数据进行线性填充，填充后监测位移数据的大小为7 × 358
已经证明了黄连树滑坡的时间序列位移数据是平稳的（ADF 测试作用）
3. 数据标准化

2.2.3. 建立位移数据的空间相关性

邻接矩阵的构建
为了获得整个位移监测系统的空间相关性，如图 4，采用网络通过全连无向图 G = （V， E， W） 表示黄连树滑坡的监测系统，其中 V = （v_1，v_2， … ，v_7）表示黄连树滑坡的 7 个监测点，每个监测点都与其余 6 个监测点相连;E 表示所有连接边的集合；W [ R7×7 ] 包含边权重值的邻接矩阵。邻接矩阵根据本文中监测点之间的相对距离确定。

在本文中，我们采用高斯核函数，根据监测点的距离定义了黄连树滑坡全连通图的邻接矩阵，其中 w 表示监测点之间的空间连接;dist 表示任意两个监测点之间的空间距离;var 是所有距离值的方差;i 和 j 表示黄连树滑坡的位移监测点。

2.2.4. 使用深度学习方法对滑坡位移进行时空预测

1. 基于 TGCN-GRU 模型的滑坡位移时空预测

在本文中，我们采用了 TGCN-GRU、TGCN-LSTM 和 Attention-TGCN 三种深度学习模型进行滑坡位移的时空预测，其中 TGCN-LSTM 模型是在 TGCN-GRU 模型的基础上，通过将 GRU 单元替换为 LSTM 单元开发的，而 Attention-TGCN 是通过集成注意力机制转换为 TGCN-GRU 模型。这三个时空预测模型采用位移矩阵Xt和邻接矩阵_w_作为输入，位移预测值作为输出。
TGCN-GRU 时空预测模型由一个 GCN-GRU 层和一个全连接层组成，其中 GCN-GRU 单元包含两个 GCN 层和 一个GRU 层，GCN 层主要用于从监控系统的全连图中捕获空间相关性，即邻接矩阵，GRU 层主要用于获取时间序列位移数据的时间相关性，即位移矩阵。

使用TGCN-GRU模型对黄连树滑坡滑坡位移进行时空预测时，
首先，位移矩阵_Xt_和邻接矩阵_w_被馈送到 GCN 层中，以获得位移数据的空间特征。在 TGCN-GRU 模型中，GCN 有两层
二、位移矩阵𝑋′𝑡将空间特征馈送到 GRU 层以获得时间相关性，最后，全连接层输出预测的位移值。在这里，GRU 中的矩阵乘法被图形卷积取代

2. 基于 TGCN-LSTM 模型的滑坡位移时空预测

在本文中，我们改进了 TGCN-GRU 模型，并通过将模型中的 GRU 层替换为 LSTM 层来开发 TGCN-LSTM 时空预测模型。TGCN-LSTM 包含两个 GCN 层和一个 LSTM 层，其中 LSTM 层用于获取位移数据的时间相关性。
LSTM 和 GRU 是 RNN 的两种变体，广泛用于时间序列预测，它们的共同特点是通过门控机制保留数据的重要特征。

TGCN-LSTM 模型进行时空预测的过程与 TGCN-GRU 模型相同。
位移矩阵_Xt_和邻接矩阵_w_首先馈送到 GCN 层以获得空间特征，然后馈送到 LSTM 层以获得时间相关性。最后，全连接层输出预测的位移值。需要注意的是，在每个 LSTM 单元中，隐藏状态由单元状态 （ct） 和隐藏状态 （ht)

3. 使用 Attention-TGCN 模型进行滑坡位移的时空预测

在本文中，我们提出了一种新的深度学习模型 Attention-TGCN，用于滑坡位移的时空预测。Attention-TGCN 模型基于 TGCN-GRU 模型，集成了注意力机制，以获取位移数据在不同时刻的重要性进行预测并收集全局时间信息。 Attention-TGCN 模型由 GCN 层、GRU 层和注意力层三部分组成。注意力层是一种特殊结构，可帮助模型关注数据的重要信息，通常作为机器学习模型的一部分出现，该模型会自动学习和计算输入数据中重要部分的比例。

在使用 Attention-TGCN 模型对黄连树滑坡滑坡位移进行时空预测时，参考 TGCN-GRU 预测模型，
首先，位移矩阵_Xt_和邻接矩阵_w_被馈送到 GCN 层以获得空间相关性;
二、位移矩阵𝑋′𝑡 将空间特征馈送到 GRU 层以获取隐藏状态值 (ℎ_𝑡−𝑛 , … , ℎ_𝑡−1, ℎ_𝑡) ;
第三，注意力层根据隐藏状态值计算位移数据的重要性得分;最后，全连接层输出预测的位移值。注意力层的设计过程结构如下。

3 结果和分析

3.1 模型的实验环境和训练过程

黄连树滑坡的位移预测由三个主要部分组成
首先，位移矩阵_Xt_和邻接矩阵_w_将另存为 a.csv 文件作为模型输入。
其次，使用滑动方法对位移数据进行划分，窗口大小为 7，如图 6，形成大小为 7 × 7 × 287 和 7 × 7 × 72 的训练集和测试集。第三，直接策略用于预测模型的训练过程。直接策略是针对滑动窗口法形成的每个大小为 7 的数组建立直接多步映射关系，将前 6 个位移数据作为预测的输入，最后一个位移数据作为模型训练标签。d 是输入序列的长度，h 是预测序列的长度，在本文中，d = 6 和 h = 1。

在模型训练过程中，针对学习率、epoch 和batch size这三个超参数进行了三组实验，以获得模型的最佳性能，其中学习率 = （0.001， 0.01， 0.1），batch size = （50， 100， 150） 和 epoch = （500， 1000， 2000）。经过 27 次实验，确定黄连树滑坡的最终时空预测模型具有学习率 = 0.01、批量大小 = 100 和 epoch = 1000。此外，将 GRU 和 LSTM 的隐藏层单元数设置为 100，并在本文的 GCN 层中使用了 ReLU 激活函数。

3.2. 预测结果

3.2.1. 评价指标

在本文中，深度学习中常用的三个评价指标 MAE、RMSE 和 R^2 用于评估预测模型的性能。

3.2.2. 时空预测模型的结果

本文在 TGCN-GRU 模型的基础上开发了 TGCN-LSTM 和 Attention-TGCN 模型，并将这三种模型应用于黄连树滑坡的时空位移预测。为了更好地比较时空预测模型的性能，本文建立了基于单个监测点的两种预测模型 GRU 和 LSTM 作为比较基线。基于单个监测点的模型缺乏对位移数据的空间相关性的考虑，并且在进行预测时需要对七组监测位移中的每组进行单独建模。
为了更好地比较模型性能，我们设置了相同的 LSTM 模型和 GRU 模型的训练参数，所有监测点的批量大小 = 100 和 epoch = 1000，GPS 1、GPS 2、GPS 5、GPS 6 和 GPS 7 的学习率 = 0.01，GPS 3 和 GPS 4 的学习率 = 0.002。时空预测的三种模型和单点预测的两种模型的预测精度如下表 5–7分别。
根据上述实验结果，对于三种时空预测模型，很明显，TGCN-LSTM 模型在预测精度方面与 TGCN-GRU 模型相似，在个别点上略低于 TGCN-GRU 模型;然而，它在训练效率方面明显低于 TGCN-GRU 模型，运行时间约为 TGCN-GRU 模型的 1.6 倍。同时，与 TGCN-GRU 模型相比，Attention-TGCN 模型基本提高了各监测点的预测精度。

3.3. 模型准确性分析

结果表明，对于三种时空预测模型，（1）在精度和训练效率方面，TGCN-GRU模型比TGCN-LSTM模型更适合预测黄连树滑坡的位移;（2）结合三个精度指标的结果，Attention-TGCN模型对黄连树滑坡全部7个监测点的预测精度均高于TGCN-GRU模型，这表明注意力机制的整合可以提高TGCN-GRU时空预测模型的预测性能;（3）总体上，时空预测模型的精度低于单点预测模型，尤其是 GPS 4 监测点的预测结果。

从以上结果来看，对于三种时空预测模型，所提出的 Attention-TGCN 模型具有最佳的最优性能，而对于两种单点预测模型，GRU 模型更合适。因此，本文详细比较了 GRU 模型用于单点预测的预测精度、所提出的用于时空预测的 Attention-TGCN 模型以及每个监测点的平均位移。

总体来看，GPS 4 监测点的时空预测精度并不令人满意。然而，时空预测模型的预测精度虽然低于单点预测模型在监测点GPS 1、GPS 3和GPS 4，但差异较小，且时空预测模型位移预测曲线的变形特征与实测位移曲线基本一致，证明了滑坡位移时空预测的有效性。

所提出的时空预测方法将滑坡监测系统作为一个整体进行位移预测。为了实现这一点，所有监测点的数据都被统一处理，而不是逐点建模。然而，与单点预测方法相比，时空预测对黄连树滑坡的预测精度较高，这是由于部分监测点被移动造成的.

4. 讨论

4.1. 监测点移动对模型精度的影响

本文利用深度学习模型，基于黄连树滑坡监测的时间序列位移数据，对滑坡位移进行时空预测。得到了几个有趣的问题。首先，时空预测方法提高了边坡变形预测的效率，利用图结合整个监测系统进行预测，避免了针对每个监测点数据重复调整模型参数的复杂过程。二是边坡监测系统是一个整体;相邻监测点之间必然存在一定的联系，时空预测合理考虑了监测系统的空间关联性。

通过对黄连树滑坡位移监测数据的分析，以及时空预测方法的处理过程，时空预测模型实现的精度相对较低，可能有两个原因。

1. 本文用监测点之间的相对距离来表示监测系统全连通图的邻接矩阵，这意味着时间序列位移数据的空间相关性仅由地理位置信息决定。事实上，本文所应用的黄连树滑坡7个监测点的地理坐标信息并未得到精确获取，存在一定的人工误差，从而降低了时空模型的预测精度。

2. 由于监测点 GPS 6 和监测点 GPS 7 位于滑动变形带内，它们的位置在 2012 年 6 月至 2013 年 6 月期间发生了较大变化，这可能削弱了监测点 GPS 6 和 GPS 7 与其余 5 个监测点之间的空间相关性，导致表示监控系统全连通图的邻接矩阵信息不准确，从而降低时空预测精度。

本文讨论了监控点移动对模型的影响。由于监测点滑动后没有地理位置数据，因此无法量化空间相关性的衰减程度。我们考虑直接消除 GPS 6 和 GPS 7 与其余 5 个监测点之间的空间相关性，即我们为 GPS 1、GPS 2、GPS 3、GPS 4 和 GPS 5 这五个监测点重建了一个新的全连接监测网络。采用最优的 Attention-TGCN 模型进行时空预测，实验环境和参数保持不变。在考虑监测点移动的影响时，Attention-TGCN 的预测结果如下所示表 9.

如图 8，当消除 GPS 6 和 GPS 7 位置变化的影响时，Attention-TGCN 模型在 GPS 1、GPS 2、GPS 3、GPS 4 和 GPS 5 五个监测点的预测精度显著提高，在 GPS 2 和 GPS 5 的预测精度提高最为显著，超过了 GRU 模型的单点预测表 7，而 GPS 6 和 GPS 7 两个监测点的精度略有下降。可以得出结论，通过完全消除两个移动监测点与其他监测点之间的相关性的措施可以提高模型的预测精度。

然而，在消除 GPS 6 和 GPS 7 位置变化的影响后，模型在单个监测点（GPS 1、GPS 3 和 GPS 4）的预测性能仍然低于单点预测模型。事实上，最准确的方法是根据两个监测点（GPS 6、GPS 7）和其他五个监测点的移动程度，为它们之间的相关性设置一个折扣因子结合上述原因和上述监测点坐标的影响，可以进一步提高模型进行时空预测的准确性。

4.2. 注意力机制对预测精度的影响

滑坡位移受多种因素的影响，例如地貌条件、岩土工程特性、降雨量、地震和人类工程活动。这些潜在因素对边坡变形的影响最终反映在时间序列位移数据中，这导致在预测未来某个时刻的位移时，之前不同时刻的位移值可能对预测产生不同程度的影响。TGCN-GRU 模型由两个神经网络层组成，即 GCN 和 GRU，其中 GRU 层用于获取时间序列位移数据中的时间相关性。然而，作为传统的 RNN，GRU 在训练时无法专注于历史时间序列位移数据的重要部分。根据注意力机制的原理，将注意力机制集成到TGCN-GRU网络结构中后，神经网络可以自适应地聚焦历史输入位移数据中的局部位移数据，这对输出更为重要，可以实现准确预测。

TGCN-GRU和Attention-TGCN两种时空预测模型对黄连树滑坡7个监测点的预测结果表明，本文提出的Attention-TGCN模型在所有监测点的预测精度均高于TGCN-GRU模型，这表明注意力机制的融合确实可以提高TGCN-GRU模型的预测精度。注意力机制可以有效地用于各种深度学习方法，以提高模型性能。

4.3. 展望和未来工作

在本文中，我们使用两个深度学习模型对黄连树滑坡的位移进行了时空预测;然而，未来需要开展许多研究工作。

1. 滑坡位移受多种因素的影响，未来，我们计划考虑许多影响因素，例如降雨量和温度，作为滑坡位移时空预测模型的输入。

2. 各种地质灾害的预测方法基于足够的时间序列数据。然而，地质数据数量有限且难以获得。数据增强是一种通过对现有数据进行小的更改或从现有数据创建新的合成数据来增加数据量的方法。未来，我们计划研究各种数据增强方法，并将其适当地应用于地质灾害的时间序列数据。

3. 由于黄连树滑坡部分监测数据的缺失，以及人工估计地理坐标信息的误差，本文时空模型的精度不可避免地存在误差，未来的研究工作将整合更多的工程案例来验证模型的精度。

5. 总结

在本文中，我们基于黄连树滑坡监测的时间序列位移数据，使用三个深度学习模型对滑坡位移进行时空预测。首先，我们为黄连树滑坡的监测系统构建了一个全连通图，并用邻接矩阵表示。其次，我们提出了一种基于 TGCN-GRU 模型的 TGCN-LSTM 模型和一种 Attention-TGCN 模型，并采用三种模型以位移矩阵和邻接矩阵作为输入进行时空预测。第三，我们通过三个准确率指标分析了三个时空预测模型的性能，并将它们与两个用于单点预测的模型 GRU 和 LSTM 进行了比较。最后，我们讨论了监测点移动对预测准确性的影响。

对黄连树滑坡时间序列位移数据的预测结果表明：（1）GPS2、GPS5、GPS6和GPS 7的时空预测模型预测精度与单点预测模型基本接近，而在GPS 1、GPS 3和GPS 4的预测精度不尽如人意;（2） Attention-TGCN 模型实现了最高的时空预测精度。对监测点移动影响的讨论表明，时空预测模型在所有监测点的精度都有所提高，在考虑监测点的移动后，在两个监测点的精度高于单个监测点模型。未来，滑坡位移的时空预测将考虑更多的影响因素。

[1] Xi N,Zang ,Mingdong,Lin ,Ruoshen,等.Spatiotemporal prediction of landslide displacement using deep learning approaches based on monitored time-series displacement data: a case in the Huanglianshu landslide[J].Georisk: Assessment and Management of Risk for Engineered Systems and Geohazards,2023,17(1):98-113.