Highly Confident Local Structure Based Consensus Graph Learning forIncomplete Multi-view Clustering

核心创新点

目前问题：

        部分方法仅适用于双视图数据，或要求至少有一个视图是完整的；构造图的方法对噪声较为敏感，可能影响性能。

本文贡献：

1. 提出一种新颖的模型 HCLS-CGL，用于解决 IMC 任务，能够处理任意视图缺失情况。

2. 与现有 GIMC 方法不同，我们设计了一种新颖的置信最近邻图，通过样本对的组邻居相似性来引导共识图的学习。

主要方法

Motivation1

1. 核心目标与模型描述

1.1 问题背景

        多视图聚类的一个核心问题是如何学习一个高质量的共识图  S ，该图能够揭示数据的内在关系，并将多个视图的信息统一起来。共识图  S  的目的是综合所有视图的信息，使得最终的聚类结果更加鲁棒。

1.2 初始目标函数

为了学习共识图  S ，引入以下优化目标函数（公式(2)）：

其中：

•   ：待学习的共识图；

•   ：视图  v  的初始相似图（如  k -最近邻图）；

•  ：视图  v  的权重，表示该视图对共识图的贡献；

•  ：正则化项，用于控制  S  的复杂度；

•  ：优化变量    和    的约束条件：

•   ：限制  S  的行归一化，避免行向量全为 0；

• ：保证    的拉普拉斯矩阵    有    个连通分量，从而实现    类聚类；

•   的约束：权重为非负，且总和为 1。

        优化目标可以通过最小化  S  与各视图    的偏差，同时正则化  S  的复杂度来实现。

2. 动机与问题分析

2.1 多视图缺失问题

在多视图数据中，由于数据采集问题、噪声干扰等原因，某些视图的部分样本可能是缺失的。缺失视图会导致以下问题：

1. 样本维度不一致： 多视图样本之间无法对齐。

2. 结构不对齐： 不完整数据构建的相似图   难以反映数据的真实结构。

3. 恢复方法的局限性：

• 很多方法尝试恢复缺失视图，但计算代价高，且难以获得高质量恢复结果，可能进一步降低聚类性能。

2.2 本文提出的解决方案

为了解决视图缺失问题，本文的关键在于：

1. 直接利用非缺失视图的信息： 从可靠的视图信息中构造共识图  S ，而非依赖于恢复的低质量数据。

2. 利用视图缺失的先验信息： 通过缺失视图索引矩阵  ，定义缺失样本的位置，其中：

•   ：表示第  v  个视图中样本  i  存在；

•   ：表示第  v  个视图中样本  i  缺失。

3. 改进目标函数与方法

3.1 改进后的目标函数（公式(3)）

为应对缺失视图问题，提出以下优化目标：

•  ：转换矩阵，将非缺失样本的信息对齐到全局相似图  S ；

•  ：由非缺失样本构建的视图  v  的相似图。

优化约束条件：

3.2 相似性图的构建（公式(4)）

相似图    是通过  k -最近邻算法构建的：

其中：

•   ：样本    的  k -最近邻集合；

• 若   和   是彼此的  k -最近邻，则  。

4. 方法总结与创新点

1. 创新点：

• 通过转换矩阵    和缺失视图索引  O ，仅利用非缺失视图中的可靠信息，避免了直接恢复缺失数据的局限性。

• 提出改进的目标函数（公式(3)），在多视图数据中引入视图对齐的思想。

2. 方法的核心步骤：

• 构建非缺失视图的相似图  ；

• 利用转换矩阵   对齐各视图的信息；

• 优化目标函数学习共识图  S ，并用于后续聚类。

这一方法有效解决了多视图数据中视图缺失问题，同时增强了聚类结果的鲁棒性。

Motivation2

问题描述

• 在大多数情况下，一个样本及其最近邻样本之间有很高的概率属于同一类别。

• 然而，对于不完整的多视图数据，由于视图缺失和噪声的不可控性，预构建的相似性图   可能无法真实反映样本之间的最近邻关系。

• 这种情况下，很难通过噪声较大的图  学习出一个高质量的共识图。

现有方法的缺点

• 一些方法尝试将自适应最近邻图学习模型融入共识图学习框架，但存在以下问题：

1. 计算开销高：需要更复杂的优化过程。

2. 优化复杂性大：模型的优化难度和收敛时间显著增加。

2. 提出的解决方案

本文提出了一种简单但新颖的解决方案，基于如下假设：

假设

如果样本  和    是彼此的“内在最近邻”（intrinsic nearest neighbors），那么它们的最近邻集合应该包含一些共同的样本。

解释：

• 样本    和    的“共同最近邻”数量越多，这两个样本属于同一类别的概率越高。

3. 方法细节

3.1 计算“共同最近邻”数量

• 对于样本  和   ，它们的“共同最近邻”数量可以通过以下公式计算：

•  A ：一个特殊的二值  k -最近邻图，表示样本之间是否为彼此的  k -最近邻关系。

3.2 构建置信最近邻图

• 将    的值归一化：

•   ：   的最大值。

• ：归一化后的置信最近邻图，其元素表示样本    和    之间为最近邻的置信度。

3.3 引入置信最近邻图到共识图学习

• 在目标函数中引入置信最近邻图  ：

•   ：逐元素乘法操作。

• ：置信最近邻图，强调可靠的样本关系。

• 目标：重点关注样本之间置信度高的部分，减少噪声和不可靠关系的影响。

约束条件

• 目标函数中的约束条件包括：

•  ：共识图  S  是对称矩阵；

•   ：共识图的值在合理范围内；

•  ：对角元素为 0（避免自连接）；

• ：拉普拉斯矩阵的秩约束，用于保证聚类结果的连通分量数量。

4. 方法的优势

4.1 与传统方法的比较

• 传统的最近邻图  易受噪声影响，无法准确反映样本关系。

• 引入置信最近邻图   后：

1. 提供了一种新的结构信息；

2. 更加关注高置信度的样本关系；

3. 降低了噪声数据对共识图学习的干扰。

4.2 潜力

• 通过置信最近邻图引导，共识图学习模型有潜力获得更内在的高质量图，用于实现更好的聚类结果。

优化过程

1. 原始公式 (6)

公式 (6) 是学习共识图  S  的优化问题：

约束条件为：

主要符号解释：

• ：从  S  映射到视图  v  上的部分子图；

•  ：视图  v  的相似图；

• ：视图  v  的置信最近邻图，用于加权；

•  ：正则化项，用于控制  S  的复杂性。

这里的核心是项  。通过仔细观察，可以对其中的变量作如下变化与等价变换，以使问题结构更加清晰：

公式 (7)

将公式 (6) 转换为：

约束条件不变。

转换推导过程

1. 重新定义 ​​​​​​​  和   ：

• 定义   ，即视图  v  的全局相似图；

• 定义  ，即视图  v  的全局置信图。

这些定义表明，我们在全局图  S  中只关注非缺失样本的信息。

2. 矩阵重构：

• 将   的表达形式替换为  S ，因为  S  是全局图，包含所有样本的信息。

• 将    替换为   ，用来表示从局部相似图到全局相似图的映射。

3. 目标函数替换：

• 将原始公式中   替换为  。

• 将权重矩阵  的作用从局部图转移到全局图中，替换为  。

最终得到了公式 (7)。

详细推导过程：

1. 引入中间变量的动机：

在(6)中，有 。为进一步简化，我们考虑将问题转化到一个变换后的空间中。若我们定义：

请注意，上述定义实际上是(7)与(8)中出现的形式，但在此说明推导过程时，先展示思路，再行解释。

问题是如何从转化到类似 的形式。

2. 等价变换：

在(6)中，为F范数下的矩阵元素逐点相乘的残差项。

假设存在适当的正交或单位变换（由定义）使得在该变换域中，问题呈现更简洁的形式。具体而言，由于通常为给定的数据相关矩阵（如图拉普拉斯矩阵的特征向量矩阵，或数据嵌入矩阵等），通过将问题映射至的转置域，可简化运算。

若在(7)式中能写出与相关的项，我们就可将问题表示为：

在(7)中，已经明确地把通过等价的矩阵变换写成：

这实际上是利用了与的某些性质（例如正交性、对称性或在特定约束下的等价性）来进行变换，使得在(7)式中所有优化变量仍为S和\alpha，但形式更对称整齐，更便于后续处理。

简言之：

• 将映射到和，就得到(7)的形式。

因此，从(6)到(7)的关键就是在适当的变换下等价地重写误差项。

公式 (8)

在公式 (7) 的基础上引入拉普拉斯约束项，将目标函数扩展为：

其中：

• 新增变量  ：表示低维嵌入矩阵，用于优化拉普拉斯约束；

• ：用来替代   的拉普拉斯秩约束。

转换推导过程

1. 引入低维嵌入矩阵   ：

• 根据谱聚类理论，拉普拉斯矩阵   的最小  c  个特征值为 0，其对应的特征向量可以用来表示  c  个聚类的分布。

• 换句话说，拉普拉斯矩阵的秩约束   等价于优化嵌入矩阵   ，使得    并最小化  。

2. 将拉普拉斯约束项添加到目标函数中：

• 原始的秩约束通过引入嵌入矩阵    转化为优化问题：

• 这一转换避免了直接处理非凸的秩约束问题。

3. 合并目标函数：

• 将拉普拉斯约束项   添加到公式 (7) 中，形成公式 (8)。

• 同时保留原有的相似性约束和正则化项   。

最终，公式 (8) 成为完整的优化问题。

详细推导过程

下面更详细解释从(7)到(8)的推导思想和步骤。在(7)和(8)之间，最关键的变化在于如何处理秩约束 。

回顾(7)式的问题形式：

(7)式的优化问题可写为（略去不变的条件）：

同时有约束条件：

这里的难点是 这个秩约束。秩约束是一个非凸的、难以直接求解的约束，它限制了矩阵  的特征结构。

为何要引入  矩阵和 项？

        为了解决复杂的秩约束，常用的技巧是将其转化为一个可通过优化辅助变量间接实现的形式。      

参考文献中（[25]等），一种可行的方法是：

• 引入一个辅助矩阵 （具体维度需与秩条件匹配），并要求 （即  的列向量正交归一化，形成一个正交基）。

• 在理想情况下，如果  的秩为 n-c，那么可以找到一个合适的 ，使得  接近一个“理想结构”(如接近单位阵 )，从而表征 在 F 所定义的子空间内有 n-c 个非零特征值并保持该秩结构。

简单理解是：

•  是与  有关的拉普拉斯型矩阵或某种图结构矩阵。控制  的秩相当于控制其特征值分布。

• 如果 ，说明  有  个非零特征值（或满足一定特征值分布要求），即可以在某个正交基 F 下把  映射得较为“标准化”。

• 将  替换为一个最小化问题：或者近似的最小化问题。这样一来，如果我们找到一个  使得  逼近单位阵，就说明  的所需秩特性已满足。

为什么逼近单位阵能体现秩特性？

在一个合适的子空间基  中，如果 ，意味着在这个子空间上 行为类似一个满秩的单位矩阵（尺寸是  ）。这样就间接确保了。当然，这里可能略有简化或与文中定义的场景相关，但基本思想是：通过选择 F 和在目标函数中加入（或 的惩罚项，我们让优化过程自动寻找一个 ，从而使  的结构向满足该秩要求的矩阵靠拢。

(8)式的最终形式：

因此，在(8)式中引入了  和项，将原来的秩约束通过一个正则化项来表达：

并添加约束：

通过这一步，我们用一个额外优化变量 F 和一项正则化  来实现对的间接控制。

• 当 较大时，优化过程会更加努力地使  接近一个期望的结构（如 ），从而实现  的要求。

• 这样就不用直接处理  这个棘手的非凸约束，而是通过引入  的正交约束 （可控的凸约束）和可导的正则项，将原问题转换为更容易求解的优化形式。

总结下来，从(7)到(8)的本质是用一种辅助变量和正则化替代难以处理的秩约束：

1. 原问题中的秩约束太复杂，难以直接优化。

2. 引入辅助矩阵  并要求 来提供一个标准正交基。

3. 在目标函数中加入  项，通过调节 的大小，使 在  定义的子空间中呈现出期望的秩结构（间接满足 ）。

 交替优化过程（公式9-17）

由于    之间相互耦合，难以同时求解，因此采用交替优化的方法逐步优化每个变量：

Step 1：优化  S （共识图）

目标：

固定    和  ，优化   ：

推导过程大纲：

1. 展开 项：

拉普拉斯约束项    可展开为：

表明该项直接与    相关，是一个二次型优化问题。

2. 逐元素优化：

将目标函数分解为对每个    的优化，得到：

其中：

•

•  是拉格朗日乘子，用于满足约束   。

详细推导过程

在固定了  和 后，对 S 的优化问题。该子问题的形式（对应公式(9)）大致为：

约束条件为：

其中表示元素级（Hadamard）相乘， 是范数，为给定的参数。矩阵  均已知且固定。

将Frobenius范数的误差项分解为元素级形式

首先考虑目标函数中  的展开。范数的平方即为所有元素平方和，故有：

将所有  的误差项叠加，并加入 和 项，最终可以将目标函数写成对  的二次型形式，即：

这里也是一个二次型的函数，可以展开为或包含二次项的分解。根据文中所给提示，可以定义一些中间符号  等，将分解为对的线性或简单二次形式。这种分解的细节通常依赖  的定义（例如  一类的图拉普拉斯形式）和  的性质。最终可以达到将整个人类不可读的矩阵优化问题化为元素级别的和式。

问题可分解性：按列拆分

观察约束：

• 意味着对每一列 ，。

•  给出了元素的上下界约束。

• 则意味着  对所有 。

由于上述约束对每一列而言相对独立（列和为1的约束在列间是独立的，对角为0只是指定列中一个元素为0，非负性和上界也在列内独立），再加上目标函数在展开后可对列进行分块（每一列的优化子问题相互解耦），因此我们可以将整个问题分为 n 个列级别的独立子问题，即对每个 :

经过适当的线性化和分解，中的与列  有关的项也可以写成关于 的线性或简单二次形式。最终的结果是每个列  上的优化问题只有该列的 作为变量，且满足与的特殊条件。

利用拉格朗日乘子法解决列级子问题

对列  的子问题来说，我们有一个典型的有界二次规划问题：

• 目标函数是，

这里  和  是根据前面分解得到的由  等决定的系数。

• 约束包括：（线性约束）、（盒子约束）以及 （固定值约束）。

引入拉格朗日乘子 来处理 的约束。对于有盒子约束的二次问题，一个常用的技巧是先不考虑盒子约束求出无约束的最优解，然后对该解进行投影（Projection）操作使之满足非负、上界等要求。作者最终给出的闭式解(12)就是通过这种思路得到的。

基本步骤是：

1. 无约束解的计算：

假设先忽略非负约束和上界约束，只考虑。对该二次形式加上拉格朗日项。求关于 的驻点条件可以得到一组线性方程，根据这些方程可以解出 关于 的关系。

得到的形式约为：，其中  是在不考虑 和盒子约束时的“初步解”（与目标函数的系数矩阵、常数项有关）。

2. 满足非负和上界约束的投影：

有了 ，接下来需要选择  使得 。这给出 ，由此可以解出 ：

{(如果没有其他约束的话)}

然而，这只是一个初步选择，还需要检查非负性和上界 。如果有元素小于0，则需要提高 （或做出相应的调整）以使该元素变为0；若有元素大于1，则需相反方向调整  或对该元素截断在1。

最终，这相当于一个投影操作，把初步解 投影到可行域（满足所有约束的单纯形和盒子范围内）上。这个投影结果给出了闭式的形式，即：

同时根据列和为1的约束通过迭代或解析方法精确求出满足 的。

3. 对角元素为0的处理：

 是硬性条件，所以该元素直接设置为0，不参与投影过程（或可看作固定死的一个值）。这一点在计算  时需特别考虑，即列和时不计入该元素的自由度。

通过这些数学手段，作者实现了从一个复杂的有界、带线性约束和二次项的优化问题到一个有闭式解的结构形式。这种闭式解(12)的存在大大简化了数值求解的过程，因为每次更新 S 时都可以直接利用这种解析形式，而不需要求解大型的数值优化问题。

总结

从推导的角度来看，这部分内容的数学原理在于：

1. 将矩阵F范数和线性代数项都分解为元素级别的二次和线性形式。

2. 利用问题的结构性约束（列和为1、非负、上界、对角为0）将多维的矩阵优化问题分解为一组独立的列向量优化问题。

3. 对每个列向量的优化问题，使用拉格朗日乘子处理线性约束，然后通过投影操作处理非负和上界约束，从而得到闭式解析解。

4. 最终的闭式解(12)是对列向量的最优解在给定参数和辅助量后的直接表达式。

这些步骤体现了典型的优化问题求解思路：

• 先分解化简至可独立求解的基本子问题；

• 再对子问题使用标准的优化技术（如拉格朗日法）得到解析解；

• 最后处理不等式约束（如非负和上界）使用投影操作得到最终可行且最优解。

Step 2：优化   （嵌入矩阵）

目标：

固定    和   ，优化   ：

推导过程大纲：

1. 对    进行特征值分解，得到特征值    和对应的特征向量   。

2. 取最小的    个特征值对应的特征向量，构成   ：

这确保了    满足约束   ，同时最小化目标函数。

详细推导过程：

当从公式(8)式出发，固定  和  后，关注优化变量  的子问题，就会得到如下形式的优化问题（对应公式(13)）：

这里  是一个和  有关的图拉普拉斯矩阵（或具有类似特性的实对称矩阵），且  是一个 的矩阵，列与列之间需正交归一化，即 F 的列向量是一组正交标准化的向量。

数学直观

目标函数：

考虑  其中每个 是列向量。则有：

因为 是一个对称实矩阵(通常图拉普拉斯矩阵是对称半正定的)，它有一组正交标准化的特征向量  对应特征值 。这里  是  的第  小特征值。

利用特征分解求解

对称实矩阵 的特征分解为：

其中  是由标准正交基组成的特征向量矩阵，为特征值对角阵。

考虑到目标  在特征基下的表示。令 ，由于  是正交矩阵 ，并且  意味着  必须满足 ：

这里用到了 。

因此问题变成：

因为 是对角阵， 就是 。此时我们注意到约束  表示  的列向量也是一组正交标准向量，但是在特征值排序下，我们想要使得 尽可能小。

如果想要最小化 ，最优策略是让  的列向量只在对应最小特征值的特征向量上有分量，从而使得加权和最小。例如：

• 若选择使  的列向量即为 （对应  最小的  个特征值），则:

此时 为选择的  个特征值的和。

• 若尝试选择其他任意正交的 F ，由于特征值是从小到大排列好的，包含更大特征值方向的分量只会增大 。

最优解的必要性与充分性

该问题是经典的“从对称矩阵中选取一个低维子空间来最小化子空间中二次型期望值”的问题。由于  是对称实矩阵，特征值分解给出了全局极值。将  的列选为对应最小特征值的特征向量保证了全局最优性。这点是线性代数和最优化理论中的标准结论：在正交约束下最小化 必须选择与最小特征值对应的特征向量。

更正式的说法是：

Rayleigh-Ritz定理(Rayleigh quotient及其推广) 告诉我们，对于实对称矩阵，约束优化问题 的解是由矩阵 的最小特征值对应的特征向量张成的子空间来提供。

总结

问题(13):

的最优解是选取  的最小  个特征值对应的特征向量来构成 。这是因为特征值分解将  拆解为一组正交特征向量方向上的权重。在正交约束下，选择那些对应最小特征值的特征向量，使得二次型  的值达到全局最小。

Step 3：优化   （视图权重）

目标：

固定    和  ，优化 ：

其中：

推导过程大纲：

1. 利用拉格朗日方法，将约束条件加入目标函数：

2. 令偏导数为 0，得到：

3. 根据约束  ，进一步得到：

详细推导过程：

根据给定的公式(14)及参考文献中的一般化处理方式，我们需要求解：

                                                

为推导出(16)与(17)的形式，一般在文献[46]的启发下，将该问题考虑为带有一般化指数的优化问题（或假设有一类广义凸组合形式），即考虑更一般的模型：

其中  为某参数（若问题原文中没有显式说明，则该形式来自于文献参考或附录中说明的推广，一般通过这种形式可导出类似的闭式解。若不考虑  的一般化情形，而是线性情况，最终结果则会趋于挑选最优方向的稀疏解。但论文显然给出了像(16)(17)这样有r-依赖的公式，说明其采用的是广义形式）。

引入拉格朗日乘子

定义拉格朗日函数：

其中  是约束对应的拉格朗日乘子。

求导并求驻点

对  求偏导并令其为零：

由此可得：

因此：

利用约束

将上式代入约束条件：

定义 ，则：

所以：

由于 ，有：

.

现在将 代回  的表达式：

但是  刚才求出为   ，故：

得到最终公式

这就是对应文中所述的公式(17)的形式：

从数学原理上看，这是一个标准的带有幂函数形式的加权优化问题。在引入拉格朗日乘子并求解后，我们得到 的闭式解，其权重与  成反比的幂次关系。该解决方案本质上是通过调整参数  来实现对  的平衡分配：当  趋于1时，该分配接近在最小的  处集中（线性问题的极端情况），而更一般的 则导致一种柔和的权衡分布，使得所有 按 的权重分配。

总结

通过上述推导，我们从最初的优化问题出发，引入拉格朗日乘子法，对  求导并利用约束条件求出闭式解。最终的公式(17)给出了 的解析表达式。该过程数学上清晰、严格，并且依赖特征参数  来灵活控制的分布特征。

算法综述

算法旨在基于多视图数据（multi-view data）构建一个共识图  S ，并同时确定合适的加权参数 和辅助矩阵 ，以实现对数据的聚类或分群（特别是从不完整的多视图数据中提取一致的图结构）。

在这个问题中：

• 不完整多视图数据集 含有缺失视图(有的样本在某些视图缺失特征)。缺失部分用 ‘’ 表示。

• 索引矩阵 标识数据的观测情况：表示第i个样本在视图下有观测数据，则表示该视图信息缺失。

• 构造和的初始图与加权矩阵，为后续优化提供初始条件。

• 参数 用于正则化和控制问题中的秩约束松弛。

初始化步骤

1. 构建近邻图：

基于每个视图的观测数据，利用已观测的样本集合，先构建k-近邻图。这一步通常是从数据点构建图的标准做法：

• 对每一视图，在已观测数据中找到每个点的k-最近邻，形成邻接关系 （二值矩阵）。

• 根据该邻接信息，计算出加权图用于表示样本之间的相似度或距离结构。

2. 计算加权矩阵 ：

使用给定的概率性质或归一化方法，将邻接信息 转化为信任加权矩阵。文中指出通过  的最大值归一化来定义。用来加权误差项，在后续优化中起到了控制不同样本对最终共识图贡献程度的作用。

此时，我们有了初始的和缺失信息索引以及参数 。

交替迭代优化过程

算法采用交替迭代优化的策略来求解问题(6)。考虑到直接联合求解  的困难性，算法分为三个子步骤反复更新：

1. 更新  （在固定  和  的情况下）

2. 更新  （在固定 和  的情况下）

3. 更新  （在固定  和  的情况下）

在每次迭代中，先更新 ，然后更新 ，最后更新 ，一直到收敛。

更新 

根据前面推导，当 和  固定后，优化关于  的子问题等价于分解为列独立的小问题。通过引入拉格朗日乘子法和投影操作，将复杂约束（非负、行和为1、对角为0）的问题简化为可由闭式解表达的形式(即(12)式的求解过程)。更新  时，利用公式(12)的结果直接获得列向量更新，从而快速得到新一轮的 。

更新 

在固定  和  后，更新  的问题为对称矩阵下的正交约束特征问题。对  进行特征分解，选取对应最小  个特征值的特征向量作为列向量，即可得最优  (对应于(13)的问题)。这实际上是一个经典的谱聚类步骤：选择最小特征值的特征向量空间作为嵌入。

更新 

固定  和  后，问题约化为简单的加权求解问题。之前的详细推导（(14)-(17)）显示，在有适当的函数形式下，引入拉格朗日乘子并求导，可以得到  的闭式解(17式)。该解根据每个视图的误差项  来动态调整视图权重 。最终所有 满足且 。

循环迭代与收敛

整个算法的结构是一个“while not converged do … end while”的迭代循环。在每一轮迭代中：

• 根据(12)公式更新 。

• 根据(13)公式的特征分解更新 。

• 根据(17)的闭式解更新。

反复迭代，直至达到收敛条件（如  或目标函数值不再显著变化）。

输出结果

算法最终输出的是共识图  和谱嵌入矩阵 。

•  是在多个视图间平衡而得到的图结构矩阵，表示聚合后的数据邻接关系，称为共识图。

•  是从  加权并对 光滑化处理后得到的特征向量子空间，用于谱聚类或其他后续分析。通过对  行进行 k-means 聚类，可以获得数据的最终分群结果。

总结

• 初始化步骤利用邻接信息构建初始图和加权矩阵。

• 在主体循环中，通过交替迭代更新 S、F、\alpha，利用已推导的闭式解和特征分解方法，使得每个子问题都有高效的求解途径。

• 最终得到的 S 和 F 可以直接用于聚类分析，从不完整多视图数据中获得稳健而有意义的聚类结果。

复杂度分析

Step 1：优化  S 

• 目标：

优化公式为：

 S  的更新公式由逐元素优化（element-wise optimization）得到。

• 主要操作：

• 矩阵逐元素的加法、乘法、除法等基本操作。

• 不需要复杂的矩阵分解或其他高阶运算。

• 时间复杂度：

• 对于一个   的矩阵   ，逐元素操作的复杂度是 。

• 因此，优化    的复杂度为   。

Step 2：优化  F 

• 目标：

优化公式为：

该问题通过对拉普拉斯矩阵  的特征值分解（eigenvalue decomposition）来求解。

• 主要操作：

• 计算    的前    个最小特征值及其对应的特征向量。

• 利用这些特征向量构造嵌入矩阵   。

• 时间复杂度：

• 对于一个    的矩阵，完整的特征值分解复杂度为  。

• 但由于这里只需要前    个特征值和特征向量，可以采用更高效的稀疏特征分解算法（如 eigs 算法），其复杂度为  。

• 因此，优化    的复杂度为   。

Step 3：优化 

• 目标：

优化公式为：

其中：

• 主要操作：

• 计算    的值（涉及逐元素的乘法和加法操作）。

• 更新权重    的闭式解。

• 时间复杂度：

• 计算    涉及    矩阵的逐元素操作，复杂度为   。

• 更新   的操作仅为向量计算，复杂度为  ，可以忽略不计。

• 因此，优化   的复杂度为   。

3. 总体复杂度分析

在一个完整的交替优化迭代中：

1. Step 1 和 Step 3 的复杂度均为   ；

2. Step 2 的复杂度为  （通常   ）。

单次迭代的总复杂度：

如果总迭代次数为   ，则整个优化过程的总复杂度为：