论文解读｜【Nature Communications】复杂网络韧性的深度学习预测方法

最新推荐文章于 2024-12-11 23:02:04 发布

小天才学习机打游戏

最新推荐文章于 2024-12-11 23:02:04 发布

阅读量3.1k

点赞数 15

文章标签：网络深度学习人工智能 gpt 大数据机器学习 python

本文链接：https://blog.csdn.net/m0_59164520/article/details/143923848

版权

论文标题：Deep learning resilience inference for complex networked systems

论文链接：https://doi.org/10.1038/s41467-024-53303-4

代码链接：https://github.com/tsinghua-fib-lab/ResInf

近日，清华大学电子系城市科学与计算研究中心在复杂网络系统韧性预测的研究中取得进展，提出了与传统理论分析截然不同的数据驱动研究范式，通过直接建模复杂网络的动态观测数据，学习提取系统韧性的有效表征，可在不掌握动力学方程的情况下实现对系统韧性的准确预测。该成果不仅为复杂系统研究提供了一种新的视角，更为真实世界复杂网络与系统（如电力系统、通信网络、城市系统、生态系统等）的实际应用提供了重要的技术方法。

复杂网络的韧性是指系统在经历内部故障或外部扰动时维持系统正常功能的能力，是刻画系统抗干扰能力的一种重要基本属性。目前，领域内多数理论分析方法依赖于对系统动力学方程的精确掌握及对系统节点连接无倾向性地假设，在面对动力学方程难以准确测量及拓扑结构复杂多样的真实世界网络系统时，理论分析框架的可用性、准确性受到严峻挑战。在本文中，我们介绍了一个数据驱动的复杂网络韧性预测框架ResInf，它集成了 Transformer 和图神经网络的深度学习框架，通过直接建模复杂网络的动态观测数据，学习提取系统韧性的有效表征，可在不掌握动力学方程的情况下实现对系统韧性的准确预测。

Part 1. 背景

真实世界中各类领域的复杂系统，如生态系统、基因调控系统和神经网络，通常被描述为由相互连接的节点及其加权连接组成的复杂网络。这些系统的一个基本特征是其韧性，即在面对干扰时维持功能的能力。从动力学系统的角度来看，复杂网络的节点状态演化由其底层的非线性动力学机制驱动。当每个节点的功能特性由其状态值表示时，一个韧性的复杂网络能够从对其节点状态的干扰之后恢复，并自发演化到所有节点都以高活动水平运行的稳定阶段，而非韧性的复杂网络在其节点状态受到较大强度打击之后无法恢复其原有的节点状态活动水平，从而导致系统崩溃。

复杂网络系统节点状态的动态演化过程可以利用非线性的耦合常微分方程组来描述，其形式为：

其中表示节点的自我动力学行为，表示节点和之间的相互作用。表示节点节点和之间的相互作用强度。然而，对于复杂系统韧性而言，不同系统在扰动下的行为通常需要根据各系统独特的内在动力学进行逐一分析。这种方法导致缺乏统一的韧性评估框架，仅能应对特定情境下的系统描述。近年，Gao et al. [1] 提出了一种统一的复杂系统韧性评估框架——Gao-Barzel-Barabási（GBB）框架。其将高维的复杂网络系统利用平均场近似降维为简单易处理的一维系统，如下所示：

其中，

，，表示降维后的系统状态，表示系统的韧性参数，表示各节点的入度。GBB框架同时给出了基于系统动力学的韧性临界点，通过比较和的相对大小关系，可以预测系统韧性。然而， GBB 框架对高维复杂系统的简化过程假设系统拓扑具有低度相关性，即相连接的节点的度是独立的。同时，其使用平均场近似节点状态复杂的动态演化过程，而忽略了节点状态之间的多维、非线性和高度耦合的关系。现实中的复杂网络，其相连节点度之间往往存在显著的相关性（例如社交网络、引文网络）和复杂、非线性的系统动力学，这超出了 GBB 框架的能力范围。

如图1所示，GBB框架在节点度低相关性的条件下表现良好，对系统韧性的预测结果和通过对系统进行多次扰动仿真得到的真实韧性标签一致。然而，当系统拓扑结构呈现显著的度相关性时，GBB框架对韧性预测的准确性无法保证。

图1：GBB 框架在预测复杂网络系统韧性时的局限性。（a-c）描述了共生动力学（mutualistic dynamics）、基因调控动力学（gene regulatory dynamics）、神经元动力学（neuronal dynamics）网络，其中表示度相关系数（assortativity）。中性（neutral）度相关表示相连节点的度无显著相关性，负度相关性（Negative）表示高度连接的节点倾向于与低度连接的节点相连，正度相关性（Positive）表示高度节点更倾向于与其他高度节点连接。（d-f）展示示了 GBB 框架的韧性预测结果。（g-i）核密度估计图展示了系统稳定状态的分布，实际模拟表明，有些网络系统的韧性结果与 GBB 框架的预测想法。例如，图 (g) 中的 Network (II) 尽管被 GBB 框架认为非韧性，但该系统实际上有且只有一个正常功能的稳态，实际是韧性的。

Part 2. 模型

本文创新性地提出了数据驱动的复杂网络系统韧性预测方法ResInf，以解决以GBB框架为代表的理论分析方法在面对动力学方程难以准确测量及拓扑结构复杂多样的真实世界网络系统时难以适用的挑战。ResInf提出了复杂系统动力学的深度学习基础模型，以系统邻接矩阵形式的拓扑结构和初始若干步节点状态演化轨迹作为输入，使用Transformer编码器从观测到的节点演化轨迹中捕捉节点状态的相关性，挖掘复杂网络系统隐含的动力学机制，进而使用图神经网络模型建模复杂网络系统的拓扑结构，递归聚合各节点的邻接信息，生成节点级表征；进一步地，各节点表征通过注意力池化操作整合为系统表征，从而预测该系统的韧性，如图2所示。

图2：数据驱动的复杂网络系统韧性预测模型ResInf

模型具体设计如下：

（1）动力学编码器：其首先利用多层全连接层将输入的节点状态演化轨迹映射至其隐空间表征，在隐空间中利用多层Transformer编码器对各节点状态的演化过程进行时序建模，提取所建模的各节点最终时刻隐向量作为它们的系统动力学表征。

在这里插入图片描述

图3：动力学编码器

（2）拓扑结构编码器：其将（1）中输出的各节点动力学表征作为节点的初始特征，并基于图神经网络（Graph Neural Network，GNN）递归聚合各节点的邻接信息，建模复杂网络系统的拓扑结构。由于韧性为系统级属性，在进行消息传播之后，通过全局池化，将所有节点表征聚合至一个代表整个系统的虚拟节点，以该虚拟节点的表征作为系统级表征。

图4：拓扑结构编码器

值得注意的是，通常情况下，节点状态的演化包含来自不同初始条件的条轨迹，在上述两个模块中，不同轨迹被并行化编码，因此每个系统均得到个对应不同演化初值的系统级表征。

（3）k-空间投影器：其首先通过基于注意力机制的轨迹聚合模块，将个系统表征进行加权聚合，得到该系统的最终表征。进而利用多层全连接层将系统表征映射到一维空间，通过与全连接层的决策平面进行对比，实现对系统韧性的预测。

图5：k空间投影器

Part 3.实验结果

本文首先探究ResInf在具有互利共生动力学、基因调控动力学、神经元动力学的合成复杂网络上的韧性预测性能，如图6所示。结果表明，所提出方法在在上述复杂网络的韧性预测任务中表现出色，显著优于理论分析方法和其他基线方法。例如，ResInf在互利共生动力学的合成系统上的平均预测F1-score可达0.977，相对GBB框架和谱降维（SDR）框架[2]的F1-score提升分别为41.59%和14.32%。

图6：合成复杂网络系统上的韧性推断性能. (a) 互利共生系统. (b) 基因调控系统. © 神经元系统.

本文进一步探究了所提出模型ResInf的在不同系统动力学参数以及不同系统动力学形式下的泛化能力，如图7所示。由于现有的理论分析方法通常针对特定参数和动力学形式进行研究，因此难以实现这种泛化能力。

在真实世界中，具有相似功能的网络系统通常具有相同形式的系统动力学机制，而它们的动力学参数通常不同。例如，物种的自我繁衍和不同物种之间的互利共生效应对物种丰度的影响机制在大多数生态系统中可以使用相同的共生动力学形式描述。然而，共生动力学中的参数，例如物种的最大环境容纳量在不同的生态系统之间差异很大。本文设计了一系列实验，验证 ResInf 在不同参数的动力学方程之间的泛化表现。结果表明，ResInf 能有效捕捉系统动力学机制的核心特征，在含有训练集中未出现动力学参数的测试系统中表现优异。例如，使用共生动力学、基因调控动力学和神经元动力学进行测试时，ResInf 分别取得了 0.921、0.892 和 0.924的F1分数，显示出其较强的学习与泛化能力。

研究进一步发现，ResInf 能在覆盖多种韧性丧失模式（相移和多稳态出现）的数据上进行训练，并捕捉这些潜在的共性模式，将这些通用知识应用于以前未见的复杂系统。本文引入了 SIS（易感染-感染-易感染）动力学（SIS dynamics，对应相移的韧性丧失模式）和抑制动力学（inhibitory dynamics，对应多稳态出现的韧性丧失模式）用于生成训练数据进行ResInf模型训练，然后将ResInf应用于训练集中未见过的动力学系统，例如前述的共生动力学网络和神经元动力学网络。结果表明，尽管不同动力学方程的特性差异显著，ResInf 可以捕捉不同动力学系统中韧性丧失的共性模式，并以高精度进行预测。

图7：ResInf在不同动力学参数（a-c）和不同动力学形式（d-f）之间的泛化表现

值得强调的是，ResInf首次在动力学方程未知、理论分析方法不适用的真实生态系统的韧性预测任务中取得了优异性能，这一突破展示了所提出方法的范式创新和重大应用价值，如图8所示。研究团队进一步发现，通过在覆盖多种韧性丧失模式的合成系统数据上预训练模型，也可有效迁移到动力学方程未知的真实复杂系统，取得与在真实数据上训练相当的预测性能。这进一步证明了即使在缺乏精确动力学方程描述的系统中，数据驱动的深度学习模型仍然可以准确建模系统演变的动态规律，实现系统韧性的端到端预测，显著降低了对真实数据采集和标注的依赖，极大拓展了应用场景。

图8：真实微生物系统的韧性预测性能. (a) 韧性/非韧性微生物系统物种相对丰度随时间变化样例. (b) 直接在真实微生物系统数据训练的各模型的韧性推断性能. © 在合成系统数据训练的各模型的韧性推断性能.

真实世界网络系统的经验测量结果经常受到噪声的影响。因此，我们评估了模型在存在各种类型的观测噪声（包括带噪的节点状态轨迹、缺失连接和冗余连接）的情况下性能的稳健性，如图9所示。在面对数据中的观测噪声时，ResInf仍能保持稳健的预测性能，例如，在互利共生动力学系统上，当观测节点状态轨迹的信噪比达到1时，其平均预测F1-score仍能达到0.85；当连接的缺失率和冗余率分别为30%时，其平均F1-score分别为0.933和0.945。

图9：韧性预测性能对噪声的鲁棒性

此外，ResInf 提供了一种可视化工具，其将高维复杂系统映射到一维的 k 空间进行表示。在这个空间中，系统与韧性临界点的距离直观地展示了其韧性，为研究人员提供了实用且易于理解的解释方式。与 GBB 和 SDR 相比，k 空间投影在区分韧性和非韧性系统时表现更佳，让科学家更清晰地看到复杂系统行为的全貌，如图10所示。

图10. 在一维决策空间中可视化复杂网络系统

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述