一种用于源位置定位的可逆图扩散神经网络

原文地址：https://doi.org/10.1145/3485447.3512155

1.摘要：

    《用于源位置定位的可逆图扩散神经网络》是一篇关于在现实世界中定位图扩散现象源头的重要而极具挑战性的任务。现有的源位置定位模型通常严重依赖手工设计的规则，并且只针对特定领域的应用进行定制。然而，对于许多应用程序的大部分图扩散过程仍然未知，因此自动学习这些潜在规则的表达模型非常重要。

       最近，有大量研究致力于表达能力强大的模型，如图神经网络(GNN)，用于自动学习底层图扩散。然而，源位置定位实际上是图扩散的逆过程，这是一种典型的图中逆问题，被广泛认为是不适定问题，因为可能存在多个解决方案，因此与传统的（半）监督学习环境不同。本文旨在建立一种逆图扩散模型的通用框架，用于图上的源位置定位，即可逆有效性感知图扩散(IVGD)，以解决以下主要挑战：
       1) 在端到端的方式下利用图扩散模型中的知识来建模其逆过程的困难；
       2) 确保推断出的源的有效性的困难；
       3) 源推断的效率和可扩展性。

       具体而言，首先，为了逆向推断图扩散的源，我们提出了一种图像残差方案，以在理论上确保现有的图扩散模型可逆；其次，我们开发了一种新的误差补偿机制，可以学习抵消被推断源的误差；最后，为了确保推断出的源的有效性，我们设计了一套新的有效性感知层，通过使用展开的优化技术灵活地对约束进行编码，将推断出的源投影到可行域。我们提出了一种线性化技术，以增强所提出的层的效率。该IVGD的收敛性在理论上得到证明。

       在九个真实数据集上进行了大量实验，结果表明，我们提出的IVGD方法在性能上显著优于最先进的其他方法。

2.介绍

       图是一种普遍存在的数据结构，其中节点通过它们的关系连接在一起。它们已广泛应用于社交网络、生物网络和信息网络等各个领域。作为图挖掘中的一个基本任务，图扩散旨在根据源节点预测未来的图级联模式。然而，它的逆问题，即图源定位，很少被研究，但却非常重要。它旨在根据未来的图级联模式检测源节点。如图1所示，图扩散的目标是在给定源节点𝑏的情况下预测级联模式{𝑏, 𝑐, 𝑑, 𝑒}；而图源定位的目标是在给定级联模式{𝑏, 𝑐, 𝑑, 𝑒}的情况下检测源节点𝑏或𝑐。图源定位涵盖了广阔的研究领域和现实世界应用。例如，在社交网络中，需要尽早检测出“喝漂白剂或酒精可以预防或杀死病毒”的错误信息，以防止其传播；电子邮件是传播计算机病毒的主要手段，因此追踪携带病毒的源电子邮件在电子邮件网络中至关重要；恶意软件检测旨在确定物联网（IoT）网络中的恶意软件来源。因此，图源定位问题引起了机器学习研究人员的关注和广泛的调查。

       图1中的正向过程，即图扩散，已经长时间以来通过基于手工制定规则和启发式方法的传统预定方法进行研究，例如SEHP[3]、OSLOR[14]和DSHP[15]。在遵循传统图扩散方法相似风格的情况下，图扩散的逆过程，即图源定位的经典方法，也被传统概念主导。具体而言，大多数方法都基于预定义的规则，利用启发式或度量标准（如距离误差）来选择源节点。其他一些预定方法根据网络拓扑将节点划分为不同的簇，并在每个簇中选择源节点。

      (在计算机科学和数据分析领域,簇指的是将一组数据点划分成相似性较高且彼此相对独立的子集。这些子集也被称为簇或集群。簇分析是一种无监督学习方法，用于发现数据中的固有结构和模式。

      簇可以通过不同的算法和技术来创建，例如K-means聚类、层次聚类等。这些算法会根据数据点之间的相似性进行划分，以便将类似的数据点归到同一个簇中，并保持不同簇之间的差异性。

      簇分析在许多领域都有广泛应用，包括数据挖掘、图像处理、市场分析等。它可以帮助我们发现数据中的隐藏模式、进行分类和预测，并进行更深入的数据洞察。通过研究簇之间的关系和特征，我们可以了解数据的结构和群组组织，从而进行更精确的分析和决策。

      有监督学习和无监督学习是机器学习中两种常见的方法。

      有监督学习是指在训练阶段，模型接收带有标签的输入数据来学习输入与输出之间的映射关系。标签是预定义的正确答案或目标值。模型通过不断学习和调整参数来预测未标记数据的输出。例如，在一个分类问题中，模型学习从特征到类别的映射，以便在未来的新数据中准确地预测类别。

      无监督学习则是指从无标签的输入数据中发现数据之间的潜在结构和模式，而不需要预先定义的目标输出。模型通过对数据的统计分析和聚类等方法来学习数据的内在结构。这种学习可以帮助我们在数据中发现隐藏的模式、进行数据降维和可视化，或者将相似的数据点分组成簇。

      有监督学习和无监督学习都是机器学习的重要方法，用于解决各种不同的问题。选择使用哪种方法取决于问题的性质、可用的数据和我们希望从数据中获取的信息。）

图1:信息扩散的示例:不同的源节点生成相同的级联模式。

       总之，图源定位问题需要机器学习研究人员的关注和广泛的调查。图扩散的前向过程一直以来都得到了研究，传统的预定方法基于手工制定的规则和启发式方法。随着机器学习和深度学习的发展，图扩散的逆过程，即图源定位，也开始被研究。数据驱动的方法利用大量图级联数据中的模式和关联性，使用机器学习技术来进行源节点的检测和预测。未来，可以期待更多创新的方法和技术来解决图源定位问题，并推动该领域的发展。

     （启发式方法是一种基于经验和启发的问题解决方法，它通过使用规则、经验和直觉来指导问题求解过程。与精确算法相比，启发式方法更注重在可接受的时间内找到近似解，而不保证找到最优解。它通常用于处理复杂和困难的问题，其中传统的精确算法可能耗费大量的时间和计算资源。

        启发式方法通过设计启发函数或规则，根据问题的特定特性进行有针对性的搜索或决策。这些规则可以是基于领域知识、经验、启发性规则、统计信息等。启发式方法在问题求解过程中根据规则或经验进行选择和调整，以尽量快速地找到一个满意的解决方案。

        例如，在旅行商问题（TSP）中，启发式方法可能会使用某些规则来决定下一步应该选择哪个城市进行访问，以尽量缩短路径长度。虽然这种方法不能保证找到最短路径，但在实践中往往能够提供较好的解决方案，并在可接受的时间内完成计算。

        总之，启发式方法是一种基于经验和启发的问题求解方法，通过设计启发函数或规则来引导问题的求解过程，以找到近似的解决方案。它在处理复杂问题时具有实用性和高效性。）

        传统的图扩散方法依赖于人工预先定义的启发式方法和规则，并且通常专门针对特定的应用。因此，它们可能不适用于在扩散机制缺乏先验知识的情况下的应用。最近，随着GNN（图神经网络）的发展，Dong等人利用诸如图卷积网络（GCN）之类的最先进架构来定位错误信息的源[16]。然而，他们的方法需要预定义方法的结果作为输入，因此仍然存在上述预定义方法的缺点。

        近年来，GNN的发展在节点分类、链路预测等许多图挖掘任务中取得了最先进的性能。它们可以将节点属性纳入模型中，并通过捕捉网络拓扑和邻域信息来有效地学习节点表示[32]。它们最近在图扩散问题中取得了成功，克服了传统预定义方法的缺点。具体而言，GNN基于数据学习规则，并以端到端的方式进行了逆过程的研究。尽管GNN已成功应用于图扩散任务，但设计其逆过程，即图源定位模型，仍然困难重重，因为这种逆问题更加复杂，涉及到三个关键挑战：1）难以将图扩散模型的知识应用于端到端的逆过程建模。从图扩散模型学到的知识有助于源节点的定位。例如，在图1中展示的例子中，虽然节点𝑏和𝑐生成相同的级联模式{𝑏, 𝑐, 𝑑, 𝑒}，但从图扩散模型学来的知识可以帮助预测哪个节点可能是源节点。然而，如何以端到端的方式将这种概念纳入逆问题中是极具挑战性的，而且直接使用图扩散模型定义手工制定的方法来实现这一点几乎是不可能的，因为它们是相反的过程。2）难以确保推断的源节点的有效性。图源通常遵循有效的图模式。例如，在误传信息检测的应用中，误传信息的源节点应在社交网络中相连。另一个例子是，恶意软件的源节点在物联网网络的某些受限区域内密集分布。这些有效性约束在训练和测试阶段都要求通过精心设计的激活层来实现。传统的激活层（如softmax）作用于各个节点。然而，有效性约束要求考虑多个源节点的拓扑连接来投影这些节点。3）推理效率和可扩展性。受有效性模式约束的源定位是一个组合问题，因此非常耗时。由于图扩散模型的逆过程也需要被推断，因此设计一种可扩展和高效的算法既重要又具有挑战。

   

 （"端到端"是指使用一个完整的系统或模型来处理问题的整个过程，从输入到输出。在机器学习中，"端到端"方法强调通过单个模型或系统直接从原始数据开始处理，然后输出最终结果，而不需要多个阶段或中间步骤。

       在GNN（图神经网络）中，使用端到端的方式进行逆过程的研究意味着将GNN应用于从输出到输入的逆向映射问题。这可以帮助模型学习数据中的规则和模式，并生成输入数据的预测或重建。例如，给定一个图像生成任务，GNN可以接收生成的图像作为输入，并试图通过模型的反向传播来恢复原始图像。

       通过端到端的方式进行逆过程的研究有助于将更多的结构和语义信息引入模型，提高模型的表达能力和预测准确性。它可以避免手动设计和定义特定的规则或特征，而是直接从数据中学习规则，并对输入数据进行建模。这种端到端的方式使得模型更加自动化和通用化，减少了人工干预和对具体任务的依赖。）

     （在给定某些应用场景的情况下，源节点通常符合一些有效的图模式。例如，在误传信息检测的应用中，误传信息的源节点通常与社交网络中的其他节点有相连关系。类似地，在物联网网络中，恶意软件的源节点可能集中分布在某些特定区域。

       为了满足这些有效性约束，需要通过精心设计的激活层来在训练和测试阶段实现。传统的激活层（如softmax）作用于各个节点，但是有效性约束要求考虑到多个源节点的拓扑连接。换句话说，需要考虑源节点之间的连接方式，以及它们与其他节点之间的关系。因此，在设计激活层时，需要投影这些源节点的拓扑结构。

       简而言之，有效性约束要求我们从整体的拓扑结构出发，考虑多个源节点之间的连接关系，并将其考虑进激活层的设计中，以更好地实现对源节点的建模和预测。这样的设计可以提高对特定模式或情况的检测能力，并使模型更准确地满足给定应用场景的需求。）

     （激活层（activation layer）是神经网络中的一个关键组件，也被称为非线性变换层或激励函数层。它在神经网络的每个神经元上应用非线性函数，以引入非线性性质和灵活性，从而使神经网络能够更好地拟合和表示复杂的数据模式。

       激活层接收来自上一层的输入，并对每个输入应用指定的非线性函数。这个函数通常是可微分的，以便在训练过程中可以使用反向传播算法进行优化。典型的激活函数包括Sigmoid、ReLU、Leaky ReLU和Tanh等。

      激活层的作用是引入非线性转换，使神经网络能够学习和表示比线性模型更复杂的关系。通过引入非线性，激活函数可以捕捉数据中的非线性特征，并激发网络中的神经元以更好地适应数据的特点。这有助于提高模型的表达能力和预测性能。

     总之，激活层是神经网络中应用非线性函数的组件，帮助网络学习和表示复杂的数据模式，并丰富了网络的表达能力。）

       在本文中，我们提出了一种新颖的可逆有效性感知图扩散（IVGD）方法，同时解决了所有这些挑战。具体而言，给定一个图扩散模型，我们通过限制其剩余GNN的Lipschitz常数使其可逆，从而可以通过其逆操作得到源节点的近似估计，并引入补偿模块以通过跳跃连接减少引入的误差。此外，我们利用展开优化技术将有效性约束集成到模型中，其中每个层由一个受约束优化问题编码。为了解决效率和可扩展性问题，我们使用线性化技术将问题转化为可求解的问题，并通过闭式解来高效地求解。最后，我们在理论上证明了所提出的IVGD方法收敛到一个可行解。本研究的贡献总结如下：

        • 设计一个通用的端到端框架用于源定位。我们开发了一个适用于图扩散模型逆过程的框架，并可以自动学习图扩散模型的规则。它不需要手工制定的规则，可以用于源定位。我们的框架适用于任何图扩散模型，并已公开发布代码。

        • 开发一个可逆的图扩散模型，并引入误差补偿机制。我们提出了一种包含Lipschitz正则化的新型图残差网络，以确保图扩散模型的可逆性。此外，我们还提出了一种误差补偿机制，以消除从图残差网络中推断出来的误差。

        • 提出一种高效的有效性感知层来维持推断源的有效性。我们的模型通过自动学习有效性感知层来确保推断源的有效性。我们进一步通过利用线性化技术加速所提出层的优化过程。它将非凸问题转化为具有闭式解的凸问题。

        • 在九个数据集上进行了大量实验。我们在九个数据集上进行了大量实验证明了我们所提出IVGD方法的有效性和鲁棒性。在五个指标上，我们所提出的IVGD方法在性能上显著优于所有对比方法，尤其在F1-Score上提高了20%。

        在该工作中的创新点总结如下。

3.相关工作

       图扩散（Graph Diffusion）是在网络中预测信息传播扩散的任务。它具有广泛的实际应用，例如社会事件预测和社交媒体中的负面事件检测。许多研究工作都致力于提高预测的质量。大多数现有的工作通常假设网络的拓扑结构，并应用经典的概率图模型。然而，这些方法通常只适用于特定类型的神经网络，并且具有较差的泛化性能。

       最近的研究趋势是使用循环神经网络（RNN）来预测扩散情况，并通常包括文本内容和时间序列等多模态信息。已经应用了各种技术，包括自注意机制、知识库、多任务学习和随机过程等。

        然而，它们无法利用网络拓扑来提升预测性能。为了应对这个挑战，已经开始应用图神经网络（GNN）来结合RNN预测宏观级（全局级）或微观级（节点级）任务，同时一些研究尝试利用其他神经网络架构。

        图源定位（Graph Source Localization）的目标是根据节点的状态和到达相应节点的扩散过程的子集时间戳等观察结果，确定网络中的源。图源定位包含着诸多应用，如疾病定位、病毒定位和谣言检测。现有的图源定位研究通常需要扩散、网络拓扑和观察结果的假设。

        随着GNN的发展，Dong等人提出了一种基于图卷积网络的源识别模型（GCNSI）用于多源定位。然而，该模型严重依赖手工规则，并且在实验证明面临类别不平衡问题且性能下降。

        总之，以上提到的研究是对图扩散和图源定位问题的探索，基于GNN和其他神经网络技术，致力  于提高预测性能并解决实际应用中的挑战。
3.1问题描述
       重要的符号约定见表1。考虑一个图G = (V, E)，其中V = {v1, · · · , vn}和E分别是节点集和边集，|V|=n表示节点的数量。Yt ∈ {0, 1}n是时间t时刻的扩散向量。当Yt,i = 1时，表示节点i被扩散，当Yt,i = 0时，表示节点i未被扩散。S是源节点的集合。x ∈ {0, 1}n是源节点的向量，如果vi ∈ S，则xi = 1，否则xi = 0。扩散过程从时间0开始，到时间T结束。虽然已经有许多基于图神经网络的图扩散模型，但通用的图神经网络框架包括两个阶段：特征构建和标签传播。在特征构建阶段，学习一个神经网络fW来估计基于输入x的初始节点扩散向量ζ = fW(x)，其中W是fW中可学习的权重集合。在标签传播阶段，设计一个传播函数g来将信息扩散到相邻节点：YT = g(ζ)。因此，图扩散模型是θ = g(fW(x))，其逆问题——图源定位（graph source localization），是从YT推断出x。此外，还可以将有效性约束以Φ(x) = 0的形式施加在源节点上，比如源节点的数量和多个源节点之间的连接。那么，图源定位问题可以数学地描述如下：

（扩散向量是描述节点在扩散过程中的状态。在图的扩散过程中，可以用一个长度为n的向量表示每个节点的扩散状态。这个向量的每个元素代表相应节点的扩散概率或扩散程度。通常情况下，扩散向量的元素取值在0到1之间，表示从未被扩散到完全扩散的程度。扩散向量的数值可以根据扩散模型、网络拓扑和其他相关因素进行计算和更新。通过分析扩散向量的变化情况，可以研究节点之间的信息传播和扩散行为）

3.2挑战
        对于一个任意复杂的前向模型（如深度神经网络），要自动学习源定位模型θ-1并解决方程（1）中的问题是极具挑战性的，主要由以下几个关键挑战造成：1) 整合信息从θ到θ-1的困难。复杂的图扩散模型θ通常不直接可逆，因此将从θ中获得的知识传递到其图的逆问题中是具有挑战性的。2) 将Φ(x) = 0纳入θ-1的困难。Φ(x) = 0考虑到了所有节点的拓扑连接而不仅仅是单个节点，而且由于其非线性性质，它可以表达复杂的有效性模式。因此，将所有节点的有效性信息编码到激活层中是困难的。3) 求解方程（1）的效率和可伸缩性。由于Yt和x是离散的，因此求解方程（1）是一个组合性问题。因此，必须开发一种高效求解方程（1）的算法，并在大规模图上具有良好的可伸缩性（即n非常大）。

4 提出的IVGD框架

           在本节中，我们提出了一个用于图源定位的通用框架，即可逆有效性感知图扩散（Invertible Validity-aware Graph Diffusion，IVGD），以同时解决上述挑战。在图2中，我们概述了所提出的IVGD框架的高级概览。具体而言，我们的IVGD框架包括两个组件：在图2(a)中，我们提出了一个可逆的图残差网络来应对挑战1，通过将误差补偿模块（第4.1节）与图残差网络集成，可以获得图源定位的近似估计。在图2(b)中，引入一系列有效性感知层来解决挑战2和3，将有效性约束编码到具有展开优化技术问题中。通过引入线性化技术，这些问题可以高效地求解出闭式解（第4.2节）。我们还提供了IVGD框架收敛到可行解的保证（第4.3节）。

       图2:框架概述:提出的IVGD框架由一个可逆图扩散模型和一系列有效性感知层组成

4.1可逆图残差网

        在本小节中，我们的目标是基于从图扩散模型θ中学到的知识，获得对源向量x的近似估计。一个直观的想法是反转前向模型θ的过程。这里的关键挑战是θ不一定可逆，因此任务是如何设计一个基于θ的可逆架构。为了解决这个问题，我们提出了一种新颖的可逆图残差网络，并提供理论保证来确保可逆性。通过提出的可逆图残差网络获得源向量x的近似估计后，引入一个简单的补偿模块来降低估计误差，表示为x = C(z)。由于z接近x，我们利用MLP模块Q来衡量z与x的偏差：z' = Q(z)。将z和z'连接在一起形成补偿预测z'' = z + z' = z + Q(z)。然而，z''可能超出范围（即小于0或大于1）。为了消除这种偏差，使用分段线性函数将偏差截断如下：x = min(max(0, z''), 1)。

极简教程，关于多层感知机(MLP)你需要知道的一切_哔哩哔哩_bilibili

ResNet介绍-CSDN博客
        现在我们的目标是设计一个基于GNN的可逆架构。虽然有许多经典的可逆架构，如iRevnet和Glow，但它们的形式非常复杂，并且需要额外的组件来确保一对一的映射。然而，i-ResNet因其简单性和出色的性能而脱颖而出，并且允许层的自由设计。我们通过规范Lipschitz系数来将i-ResNet的思想扩展到GNN。为了实现这一点，我们首先对通用GNN框架的图残差网络进行了形式化描述。F_W(x) = (f_W(x) + x)/2和G(ζ) = (g(ζ) + ζ)/2分别表示特征构建和标签传播的图残差块。P(x) = G(F_W(x))表示用于图扩散的图残差网络，P_inv表示它的图源定位逆过程。接下来，可以通过简单的不动点迭代将P反转为P_inv。算法1展示了用于源定位的图残差网络的反转过程。具体来说，第1行和第5行分别是标签传播和特征构建的初始化。第2-4行和第6-8行分别是标签传播和特征构建的不动点迭代。
       接下来，我们提供了图残差网络可逆性的理论保证。具体而言，我们证明了确保可逆性的一个充分条件，并讨论满足这些条件的实际问题。以下定理给出了图残差网络可逆性的一个充分条件。

定理4.1（图残差网络可逆性的充分条件）。图残差网络P是可逆的

       根据定理4.1和引理4.2，我们得出结论𝑃的Lipschitz常数小于1，因此𝑃是可逆的。现在让我们简要讨论如何在实践中保证Lipschitz约束。对于包含一组可学习权重𝑊的𝐹𝑊，可以应用幂迭代方法来对𝑊进行归一化，使其范数小于1 [20]。这样可以确保函数𝐹𝑊满足Lipschitz条件。对于函数𝐺，许多经典的传播函数，如独立级联（IC）函数，满足这个条件[56]。因此，在实践中选择符合Lipschitz条件的传播函数可以保证函数𝐺满足Lipschitz条件。通过以上方法，可以在实践中保证𝑃满足Lipschitz条件，并且从而保证𝑃是可逆的。

4.2有效性感知层

      这里的任务是设计激活层来解决方程(3)，其中𝜏 > 0是一个调节参数，用于平衡损失和误差补偿模块。传统的激活层关注于单个节点，无法处理复杂的约束条件，而展开优化技术则是将复杂的有效性模式纳入模型的潜在方法。受到最近ADMM-Net [60]和OptNet [2]的发展启发，我们可以通过将问题展开为一个神经网络来实现对方程(3)的潜在解决方案，其中每一层都被设计用于以下的优化问题。

        在方程中，Ψ𝑘(𝑥, 𝜆)是一个函数，定义为：Ψ𝑘(𝑥, 𝜆) = 1/(2𝜌𝑘) ((𝜆 + 𝜌𝑘Φ(𝑥))² - 𝜆²).其中，𝜌 > 0是一个超参数，𝜆是一个对偶变量，用于处理约束条件Φ(𝑥) = 0。为了优化𝐻𝑘(𝑥, 𝜆)，OptNet利用Karush-Kuhn-Tucker（KKT）条件的隐式梯度更新变量。然而，由于Φ(𝑥)的非凸性和非线性性质，以及在大规模网络上的性能限制（即第3.2节的Challenge 3），OptNet的计算效率受到了限制。为了解决这个问题，我们使用了线性化技术，将非凸的𝐻𝑘(𝑥, 𝜆)转化为凸的ℎ𝑘(𝑥)，具体如下所示：ℎ𝑘(𝑥) = 𝐽𝑘(𝑥) + 𝜕𝑥 (Ψ𝑘)ᵀ (𝑥𝑘, 𝜆𝑘) (𝑥 - 𝑥𝑘) + 𝛼𝑘/2 ∥𝑥 - 𝑥𝑘∥².其中，𝛼𝑘 > 0是一个超参数，用于控制二次项。通过这种线性化技术，我们可以将原本的非凸问题转化为凸问题，从而提高优化过程的计算效率。

      具体来说，𝐶𝑘、𝜌𝑘、𝜏𝑘和𝛼𝑘可以被视为第𝑘层的可学习参数。需要注意的是，如果𝑅(𝑥)是均方误差，那么ℎ𝑘(𝑥)是二次的，可以有一个闭式解。有效性感知层可以通过诸如SGD和Adam等最先进的优化器进行训练。这意味着我们可以使用梯度下降等优化算法来更新这些参数，以使网络能够自适应地学习和优化目标函数，并在训练过程中逐渐得到更好的性能。

(KKT（Karush-Kuhn-Tucker）技术是一种用于求解约束优化问题的方法，它基于一组必要条件，称为Karush-Kuhn-Tucker条件。这些条件用于确定在最优解处约束条件是否满足，并呈现了在最优解点上梯度和拉格朗日乘子之间的关系。

对于一个具有一组等式和不等式约束条件的最优化问题，KKT技术提供了一种判断最优解是否满足约束条件的方法。该方法使用拉格朗日乘子来引入附加变量，并通过解方程组来找到满足约束的最优解。要在KKT条件下求解最优化问题，需要满足以下三个条件：

1. 约束条件的可行性：所有的约束条件都必须被满足。
2. 梯度条件：目标函数的梯度与约束条件的梯度的线性组合等于零。
3. 非负条件：拉格朗日乘子必须非负。

通过使用KKT条件，可以将原始的约束优化问题转化为一个等价的无约束问题，从而更容易求解。KKT技术被广泛应用于各种领域，包括数学规划、机器学习和工程优化等。)

       与其他通过闭式解有效解决目标函数的展开优化模型类似，我们提出的IVGD方法可以通过闭式解来处理方程（3）。然而，对于展开优化模型的收敛性缺乏理解。这是因为展开优化模型通常涉及许多可学习参数，这使得对其收敛性的研究变得更加复杂。本节中，我们针对线性约束条件Φ(𝑥) = 𝐴𝑥 − 𝑏（其中𝐴和𝑏分别是给定的矩阵和向量）提供了IVGD方法的收敛保证。具体而言，我们提出了一种基于可学习参数的新条件，以确保随着层数的增加，𝑥𝑘和𝜆𝑘更接近于一个解.