SCALABLE SPECTRAL CLUSTERING WITH GROUP FAIRNESS CONSTRAINTS

ABSTRACT

虽然FairSC算法能够找到更公平的聚类，但由于计算零空间的内核和显式的密集矩阵的平方根，其代价较高。我们提出了一种新的底层谱计算公式，它结合了零空间投影和霍特林的压缩，这样得到的算法称为s-FairSC，只涉及稀疏的矩阵-向量乘积，并且能够充分利用公平SC模型的稀疏性。在改进的随机块模型上的实验结果表明，s-FairSC与FairSC在恢复公平聚类方面具有可比性。与此同时，对于中等尺寸的模型，它的速度提高了12倍。进一步证明了s-FairSC是可扩展的，因为与没有公平性约束的SC相比，s-FairSC的计算成本只增加了少量。

INTRODUCTION

机器学习（ML）被广泛用于诸如广告目标、信用卡发行和学生录取等领域的自动决策。ML虽然强大，但它很容易受到原始数据中编码的偏差或底层算法对特定群体或个人带来的偏差，从而导致不公平的决策。比如现实生活中算法不公平的例子。在算法决策的背景下，公平通常是指禁止对基于某些群体或个人的自然或后天特征的任何偏袒。这些特征也被称为敏感属性，例如，性别、种族、性取向和年龄组。ML算法日益增长的利益和日益增长的社会影响，推动了学术界和工业界对ML公平性的研究。各种努力已经尝试建模公平和纠正算法偏差在监督和非监督ML。根据算法的选择和公平定义的不同，公平ML有广泛的研究。在本文中，我们主要关注具有群公平性约束的光谱聚类（SC）。群体公平的概念是一种静态平等的概念。它确保了在一个接受积极（消极）考虑的群体中，成员的总体比例与整个人口的比例相同。Kleindessner等人（2019）提出了一个将群体公平概念纳入SC框架的模型，简称FairSC。对于合成网络，FairSC可以以高概率恢复地面真实聚类。此外，FairSC比SC确定了一个更公平的聚类，对真实数据没有公平的限制。不幸的是，由于计算大零空间的标准正交基和稠密矩阵的平方根的计算代价，FairSC只能处理中等程度的问题大小。FairSC不可伸缩。

本文结合零空间投影和霍特林通缩Hotelling deflation，提出了一种新的具有公平约束的SC谱计算公式。新的算法被命名为可扩展的FairSC，或s-FairSC。在s-FairSC中，所有的计算核都只涉及稀疏矩阵-向量乘法，因此能够充分利用公平SC模型的稀疏性。在修正的随机块模型上，s-FairSC与FairSC的比较表明，在中等模型尺寸下，其速度提高了12倍。同时，s-FairSC在恢复公平聚类方面与FairSC具有可比性。s-FairSC被进一步证明是可扩展的，因为与没有公平约束的SC相比，它只有一个计算成本的边际增加。

2 SC AND FAIR SC

2.1 Clustering and fair clustering

给定一组数据，聚类的目标是将该组数据划分为子集，使得同一子集内的数据彼此之间的相似性高于其他子集。数学上，假设 $G(V,W)$ 表示具有一组顶点（数据） V = { v 1 , v 2 , . . . , v n } V = \{v_1, v_2, . . . , v_n\} V={v1​,v2​,...,vn​} 和加权邻接矩阵 $W=(w_{ij})\in R^{n\times n}$ 的加权无向图。矩阵 $W$ 编码了边的信息。我们假设 $w_{ij}\ge 0$ 且 $w_{ii}=0$。如果 $wij>0$，则 $(v_i,v_j)$ 是一条边。我们用 $d_i={\sum }_{j=1}^n{w}_{ij}$ 表示顶点 $v_i$ 的度，并用 $D=diag(d_1,d_2,...,d_n)$ 表示图 $G(V,W)$ 的度矩阵。我们假设没有孤立的顶点，因此 $D$ 是正定的。

聚类的任务是将 V 划分为 k 个不相交的子集（簇）：

以使得每个子集内部的总权重较大，而不同子集之间的权重较小。聚类（1）可以通过聚类指示矩阵 $H=(h_{il})\in R^{n\times k}$进行编码：

• $H$ 是一个 $n\times k$ 的矩阵，其中 n 是数据点的数量，k 是聚类的数量。
• 矩阵 $H$ 的每一行代表一个数据点，每一列代表一个聚类。
• 如果数据点 $i$ 属于聚类 $l$，则 $H$ 的第 $i$ 行第 $l$ 列的元素 $h_{il}$ 为 1，否则为 0。

通过调整聚类指示矩阵 $H$，我们可以将数据点分配到不同的聚类中。通过最大化同一聚类内部的权重总和，最小化不同聚类之间的权重总和，我们可以实现将数据点划分为具有相似特征的子集。

现在让我们考虑如何在聚类中实施群体公平性。这里的群体指的是对收集的数据进行划分（例如，基于敏感属性如性别和种族）。我们用 $h$ 个非空子集 $V_1,...,V_h$ 来表示这些群体：

其中对于 $i\ne j$，满足 $V_i\cap V_j=\varnothing$。聚类的群体公平性是指理想情况下，所有群体中的对象在每个聚类中以比例存在，也称为统计平衡。群体也可以通过群体指示矩阵 $G=(g_{is})\in R^{n\times h}$ 进行编码：

• $G$ 是一个 $n\times h$ 的矩阵，其中 $n$ 是数据点的数量，$h$ 是群体的数量。
• 矩阵 $G$ 的每一行代表一个数据点，每一列代表一个群体。
• 如果数据点 $i$ 属于群体 $s$，则 $G$ 的第 $i$ 行第 $s$ 列的元素 $g_{is}$ 为 1，否则为 0。

通过群体指示矩阵 G，我们可以识别数据点所属的群体。在聚类中实施群体公平性意味着努力确保不同群体的对象在聚类结果中按比例存在。

下面的定义是 Kleindessner 等人（2019）扩展了 Chierichetti 等人（2017）关于群体公平性的概念后提出的。

定义 2.1. 对于给定的群体划分 (1)，如果在每个聚类中，每个群体的对象按照与原始数据集相同的比例存在，则聚类 (1) 在群体公平性方面是公平的。也就是说，对于 $l=1,2,\cdot \cdot \cdot ,k$ 和 $s=1,2,\cdot \cdot \cdot ,h$，满足以下条件：

• 对于每个簇 $l$ ，群体 $s$ 中的对象在簇 $l$ 中的比例与群体 s$ 中的对象在原始数据集中的比例相同。
• 即对于每个簇 $l$，满足以下公式：

其中 $|V|$ 表示集合 $V$ 中的顶点数量。

公平性条件（5）可以使用式（2）中的指示矩阵 $H$ 和式（4）中的指示矩阵 $G$ 来紧凑表示。让我们引入以下符号：

那么，矩阵 $M$ 和 $Z$ 的元素为 $m_{sl}=|V_s\cap C_l|$ 和 $z_{sl}=|V_s|\cdot |C_l|$，其中 $s=1,2,...,h，l=1,2,...,k$。因此，公平性条件（5）等价于以下表达式：

其中 $n=|V|$。根据公式（6），我们知道公式（7）成立当且仅当：

其中 $F_0:=G-1_n{z}^T\in R^{n\times h}，z:=(G^T{1}_n)/n\in R^h$。观察到向量 $z$ 的元素满足 $z_i=|V_i|/n$，对于 $i=1,2,...,h$，根据公式（4）中 G 的定义。

下面的引理表明，在约束条件（8）中，仅使用 $F_0$ 的前 $h-1$ 列就足够了。使用 $F_0$ 的前 $h-1$ 列的想法来自 Kleindessner 等人（2019）。在这个想法的基础上，我们通过 $F_0$ 的秩来证明选择 $h-1$ 的合理性，并证明 $h-1$ 确实是所需的最少列数。

引理 2.1. 设 $H$ 是由式（2）定义的聚类指示矩阵，$G$ 是由式（4）定义的群体指示矩阵。设 $F_0\in R^{n\times h}$ 如式（8）所定义，$F:=F_0(:,1:h-1)\in R^{n\times (h-1)}$ 由 $F_0$ 的前 $h-1$ 列组成。那么，
(i) $rank(F_0)=rank(F)=h-1$;
(ii) 如果且仅如果聚类 (1) 相对于群体划分 (3) 是群体公平的，那么：

证明：

对于 (i)：G 的每一行都只包含一个非零元素等于 1。因此，

因为 $G$ 的列是正交的，上面的第一个方程还意味着

其中 $G^{†}:=(G^{T}G{)}^{-1}{G}^T$ 表示 $G$ 的伪逆。对于 $rank(F_0)=h-1$，我们只需证明 $F_0$ 的零空间的维数为一维。设 $x\in R^p$ 是 $F_0$ 的零向量，即 $F_{0}x=0$。根据 $F0$ 的定义，我们有：

将 $G^{†}$ 乘以方程，结合方程（38），得到 $x=\alpha 1_h$。另一方面，$1_h$ 确实是 $F_0$ 的零向量：

我们使用了（37）。因此，$F_0$ 的零空间由向量 $1_h$ 张成。根据秩-零度定理，$rank(F_0)=h-1$。由 $F_0\cdot 1_h=0$ 可知，$F_0$ 的最后一列是前 $h-1$ 列的线性组合。因此，我们有 $rank(F_0)=rank(F)$。

**对于 (ii)：**根据（i），$F_0$ 和 $F$ 具有相同的值域空间。因此，$F_0^{T}y=0$ 当且仅当 $F^{T}y=0$。
然后，根据（8），得出了（ii）。

2.2 SC and fair SC

NCut 函数计算跨群簇边缘的缩放总权重。NCut 用于衡量簇之间的相似性：较小的 NCut 表示更好的聚类结果。因此，目标是最小化 NCut。需要注意的是，式（10）中通过 $vol(C_l)$ 的缩放考虑了簇的大小，以避免异常值的影响。

NCut 函数 式（10）可以使用聚类指示矩阵得到一个简洁的表达式。首先，我们将聚类指示矩阵 $H$ 式（2）进行缩放，变为：

其中 $\hat{D}=diag(\sqrt{vol(C_1)},\cdot \cdot \cdot ,\sqrt{vol(C_k)})$。我们称新的矩阵 H 为缩放的指示矩阵。为了方便起见，我们对两个指示矩阵使用相同的符号。然后，NCut 函数与矩阵的迹之间存在以下关系：

其中 $L=D-W$ 是图 $G(V,W)$ 的拉普拉斯矩阵。如果 $G(V, W) $是连通的，那么 $L$ 是半正定的，并且恰有一个零特征值。

根据（14），NCut 的最小化等价于迹的最小化问题

直接解决问题（15）被证明是 NP 难的。通常会解决以下问题（15）的松弛版本代替：
一旦获得了上述的最优解 H，可以通过近似来获得问题（15）的离散解。在这里，通常会应用 k-means 算法（对于 H 的行），但也可以使用其他技术。
问题（16）是一个经典的迹最小化问题，最初在 Fan (1949) 中进行了研究。以下定理可以在（Horn 和 Johnson，2012，第248页）中找到。

回到问题（16），我们可以通过变量的改变将其重新表述为标准的迹最小化问题，即 $X=D^{1/2}H$：

其中 $L_n=D^{-1/2}L{D}^{-1/2}$ 被称为归一化拉普拉斯矩阵。根据定理 2.1，问题（17）的最优解 $X$ 包含 $Ln$ 的 $k$ 个最小特征值对应的特征向量。然后，我们可以通过 $H=D^{-1/2}X$ 来恢复松弛问题（16）的解，并使用它进行聚类。

我们在算法1中总结了谱聚类（SC）。SC算法由Shi和Malik（2000）以及Ng等人（2001）提出，是一种非常成功的聚类算法。它高效且可扩展，因为它可以利用SC模型的稀疏性，并使用最先进的可扩展稀疏特征求解器。

群体公平性约束可以优雅地融入到谱聚类中。为了实现这一点，可以简单地将线性约束（9）添加到迹最小化问题（16）中，从而得到：

其中 $L\in R^{n\times n}$ 是图拉普拉斯矩阵，$F\in R^{n\times (h-1)}$ 是来自（9）的矩阵，而 $F^{T}H=0$ 是由于 $H$ 的缩放（13）而将原始的（9）右乘以 ${\hat{D}}^{-1}$ 得到的。

在 Kleindessner 等人（2019）的论文中，提出了使用优化问题（18）在谱聚类中实施群体公平性的想法。我们将展示，与仅解决谱聚类相比，（18）中的额外线性约束引入的成本是较小的。

3 FAIR SC ALGORITHMS

在本节中，我们考虑约束迹最小化问题（18）的数值算法。首先回顾 Kleindessner 等人（2019）提出的 FairSC 算法，然后解决 FairSC 算法的可扩展性问题。

3.1 FairSC algorithm

在 Kleindessner 等人（2019）提出的解决问题（18）的基于零空间的算法中，可以按如下方式进行。由于 $H$ 的列位于 $F^T$ 的零空间中，我们可以将 $H$ 表示为 $H=ZY$，其中 $Y\in R^{(}(n-h+1)\times k)$ 且 $Z\in R^{(}n\times (n-h+1))$ 是 $null(F^T)$ 的正交基矩阵。因此，优化问题（18）等价于以下不带线性约束的迹优化问题：

通过变量变换 $X=QY$，其中 $Q=(Z^{T}DZ{)}^{1/2}$，我们可以将（19）转化为标准的迹最小化问题（16）。这导致以下问题：

其中 $M=Q^{-1}{Z}^{T}LZ{Q}^{-1}$。观察到 M 是尺寸为 $n-h+1$ 的正半定矩阵。根据定理 2.1，问题（20）的解可以通过线性特征值问题 $Mx=\lambda x$ 来求解。最优解 $X=[x_1,...,x_k]$ 包含 $M$ 的 $k$ 个最小特征值对应的特征向量。最后，将其转换回 $H$，我们有 $H=Z{Q}^{-1}X$ 是问题（18）的解。

我们在算法2中总结了群体公平谱聚类算法FairSC。FairSC算法需要两个主要的计算核心。第一个计算核心是在第2步中计算 $F^T$ 的零空间。这可以通过对F进行奇异值分解 $F=U\Sigma V^T$ 来实现，其中 $U\in R^{n\times n}$ 和 $V\in R^{(h-1)\times (h-1)}$ 是正交矩阵，$\Sigma \in R^{n\times (h-1)}$ 是对角矩阵。根据 定理2.1，$F$ 的列满秩为 $h-1$。因此，$U(:,h:n)$ 是 $F^T$ 的零空间的标准正交基。我们也可以使用 QR 分解 $F=UR$，其中 $U\in R^{n\times n}$ 是正交矩阵，$R\in R^{n\times (h-1)}$ 是上三角矩阵。然后我们可以设置 $Z=U(:,h:n)$。对于 SVD 和 QR 两种方法，计算复杂度约为 $O(n(h-1{)}^2)$。第二个计算核心是在第3步中计算尺寸为 $n-h+1$ 的矩阵的平方根。这可以通过使用块舒尔算法来实现。计算复杂度为 $O((n-h+1{)}^3)$。对于尺寸较大的矩阵，涉及大型稠密矩阵的这两个计算核心由于内存空间和数据通信成本而计算代价较高。因此，FairSC算法仅适用于中小尺寸的公平谱聚类模型；请参考第4节的数值结果。

3.2 A simple variant of FairSC

作为FairSC的一个简单变体，我们可以首先将优化问题（18）转化为带有线性约束的标准迹最小化问题，然后使用零空间投影来消除约束，而无需计算矩阵的平方根。我们通过变量变换 $X=D^{-1/2}H$，并将优化问题（18）转化为以下形式：

其中 $L_n=D^{-1/2}L{D}^{-1/2}$ 是归一化拉普拉斯矩阵，$C=D^{-1/2}F$。请注意，度矩阵 $D$ 是对角矩阵，因此生成 $L_n$ 和 $C$ 只需要进行行和列的缩放。接下来，我们使用零空间基来消除线性约束 $C^{T}X=0$（在（21）中）。由于 $X$ 的列位于 $C^T$ 的零空间中，我们可以将 $X$ 参数化为 $X=VY$，其中 $Y\in R^{(n-h+1)\times k}$，而 $V\in R^{n\times (n-h+1)}$ 是 $C^T$ 零空间的标准正交基矩阵。然后，（21）等价于标准的迹最小化问题：

其中 $L_n^v=V^T{L}_{n}V\in R^{(n-h+1)\times (n-h+1)}$。因此，我们可以求解对称特征值问题：

由于特征值问题的解包括与k个最小特征值相对应的特征向量 $Y$，我们可以通过这些特征向量来获得方程（22）的解。通过解方程（22），我们可以恢复原始最小化问题（18）的解 $H=D^{-1/2}VY$。

尽管FairSC的这个简单变体避免了计算矩阵平方根，但是 FairSC 的其他缺点仍然存在，即需要显式计算 $C^T$ 的零空间和计算密集矩阵 $L_n^v$ 的特征值。

3.3 Scalable FairSC algorithm

现在我们来说明如何重新构造特征值问题（23），以解决 FairSC 剩下的缺点。我们从 $L_n^v$ 的特征值问题（23）开始：

对 $V$ 进行左乘得到：

在左侧，由于V的正交性，$V{V}^T\cdot Vy\equiv Vy$。记 $P=V{V}^T$为一个投影矩阵，投影到V的值域空间（即C^T的零空间）。那么（24）导致了以下投影特征值问题：

其中 $x=Vy$，而 $L_n^p=P{L}_{n}P\in R^{n\times n}$。因此，特征值问题（23）中的特征值 $\lambda$ 也是（23）中的 $L_n^v$ 的特征值。

投影特征值问题（25）的一个主要优点是它可以通过利用以下事实来避免计算 $C^T$ 的零空间：

其中 $U_2\in R^{n\times (h-1)}$是空间 $C$ 的正交基（回想 $[V,U_2]\in R^{n\times n}$ 是正交的）。当 $C$ 是一个高瘦矩阵时，这尤其有利，因为 $U_2\in R^{n\times (h-1)}$ 比 $V\in R^{n\times (n-h+1)}$ 要小得多。此外，为了通过迭代特征值求解器计算 $L_n^p$ 的特征值，我们只需要对于给定的向量 $w$ 计算矩阵-向量乘积 $L_n^{p}w$，因此 $L_n^p$ 从未被显式地形成，且可以在不构造 $U_2$ 的情况下应用 $Pw$；请参考第3.3节中的实现细节。

对于FairSC，我们需要 $L_n^v$ 的 $k$ 个最小特征值。为了理解这些特征值与 $L_n^p$ 的对应关系，我们有以下结果来关联这两个特征值问题（23）和（25）的特征结构。

命题3.1. 假设 $L_n^v$ 具有特征分解：

其中 ${\Lambda }_v=diag({\lambda }_1,{\lambda }_2,...,{\lambda }_{n-h+1)}$ 包含特征值，$Y$ 是一个大小为 $n-h+1$ 的正交矩阵，包含特征向量。那么从（25）得到的 L_pn具有特征分解：
其中 $U=[U_1,U_2]\in R^{n\times n}$ 是正交的，其中 $U_1=VY\in R^{n\times (n-h+1)}$，$U_2\in R^{n\times (h-1)}$ 是 $C$ 值域的任意正交基。

证明：

我们验证（28）是一个特征值分解。首先，由于 $V$ 是 $C^T$ 的零空间的基，而 $U_2$ 是 $C$ 值域的基，我们有 $V^T{U}_2=0$，且

通过快速验证可以得知 $U=[U_1,U_2]$ 满足 $U^{T}U=I_n$，因此 $U$ 是正交的。

另一方面，由 $L_n^v=V^T{L}_{n}V$ 和 $L_n^p=P{L}_{n}P$，我们可以得到：

因此,

在第三个等式中我们使用了（27）。另一方面，$V^T{U}_2=0$ 也意味着：

因此，$L_n^p[U_1,U_2]=[U_1,U_2]\cdot blockdiag({\Lambda }_v,0_{h-1,h-1})$，即（28）成立。

推论3.1. 设 $L_n^v$ 和 $L_n^p$ 如（22）和（25）所定义。那么（i）如果 $(\lambda ，y)$ 是 $L_n^v$ 的特征对，则对应的 $(\lambda ，x)$，其中 $x=Vy$，是 $L_n^p$ 的特征对。（ii）如果 $(\lambda ，x)$是 $L_n^p$ 的特征对，并且 $C^{T}x=0$，则对应的$(\lambda ，y)$，其中 $y=V^{T}x$，是$L_n^v$ 的特征对。

回到计算 $L_n^v$ 的 $k$ 个最小特征值的过程。由于原始矩阵 $L_n^v$ 是半正定的，它有 $n-h+1$ 个特征值，满足，$0\le {\lambda }_1\le \cdot \cdot \cdot \le {\lambda }_{n-h+1}$。根据（28），投影矩阵 $L_n^p$ 具有 $n$个有序特征值： $0=\cdot \cdot \cdot =0\le {\lambda }_1\le \cdot \cdot \cdot \le {\lambda }_{n-h+1}$ ，其中前 $h-1$ 个零特征值（考虑重复）具有 $C$ 值域中的特征向量。

在 ${\lambda }_1>0$ 的简单情况下，$L_n^v$ 的 $k$ 个最小特征值 ${\lambda }_1,...,{\lambda }_k$ 对应于 $L_n^v$ 的 $k$ 个最小正特征值。为了找到这些特征值，我们可以首先通过特征值求解器计算 $L_n^p$ 的 $K=k+h-1$ 个最小特征值，然后选择与非零特征值相对应的 $k$ 个特征对（或者选择那些与 $C$ 正交的特征值）。然而，如果 ${\lambda }_1=0$（或${\lambda }_1\approx 0$），那么上述简单的选择方案将无法奏效，因为与 ${\lambda }_1=0$ 相对应的特征向量与 $h-1$ 个零特征值的特征空间混合在一起（或者在数值上混合）。特征空间混合问题尤其在使用低精度的迭代方法计算解时会发生。

在接下来的内容中，我们首先讨论Hotelling的缩减方法（Hotelling, 1943），然后展示如何将其应用于解决投影特征值问题（25）的特征值选择问题。Hotelling的缩减方法也被称为显式外部缩减方法，适用于高性能计算。Hotelling的缩减方法的主要思想如下命题所述。

命题3.2. 设一个对称矩阵 $M\in R^{n\times n}$ 具有特征值分解：

其中 ${\Lambda }_1\in R^{k\times k}$ 和 ${\Lambda }_2\in R^{(n-k)\times (n-k)}$ 包含特征值，而 $Q_1\in R^{n\times k}$ 和 $Q_2\in R^{n\times (n-k)}$ 是标准正交特征向量。对于给定的偏移量 $\sigma \in R$，定义偏移后的矩阵 $M_{\sigma }=M+\sigma Q_1{Q}_1^T$。那么 $M_{\sigma }$ 的特征值分解有如下形式

证明：

假设我们对特征值 ${\Lambda }_2$ 和相应的特征向量 $Q_2$ 感兴趣。根据命题3.2，通过选择足够大的偏移量 $\sigma$，${\Lambda }_2$ 中的特征值将始终对应于 $M_{\sigma }$ 的 $(n-k)$ 个最小特征值，因为不需要的特征值 ${\Lambda }_1$ 被偏移到${\Lambda }_1+\sigma I$。所有特征向量保持不变。这正是我们需要将（28）中的 $(p-1)$ 个零特征值与其他特征值λi区分开来的方法。

回想一下（28）中 $L_n^p$ 的特征值分解。为了将不需要的 $p-1$ 个零特征值偏移掉，我们可以应用Hotelling的缩减方法，使用偏移量 $\sigma$ 得到：

回想一下 $U_2$ 是 $C$ 的值域的一个标准正交基。如果选择偏移量 $\sigma$，使得 $\sigma >{\Lambda }_v$ 的第 $k$ 小特征值 ${\lambda }_k$，则我们所需的 ${\Lambda }_v$ 的 $k$ 个最小特征值对应于 $L_n^{\sigma }$ 的 $k$ 个最小特征值。因此，特征空间混合问题得到解决。

另一方面，根据公式 (26)，可以将 (31) 中的偏移矩阵表示为以下形式：

使用 $L_n^{\sigma }$ 进行矩阵-向量乘法仅需要对 $P$ 和 $L_n$ 进行操作。这对于大规模公平性SC模型非常有益。

算法和实现。 正如我们所描述的，通过在投影特征值问题（25）中进行适当选择的 $\sigma$，Hotelling的缩减方法解决了特征值选择问题。总结起来，约束迹最小化问题（18）的解现在可以通过以下命题来刻画。

命题3.3. 设 $L_n^{\sigma }\in R^{n\times n}$ 如式（32）所定义，并假设 $\sigma$ 足够大，使得 $\sigma >{\lambda }_k(L_n^v)$，其中 ${\lambda }_k(L_n^v)$ 是 $L_n^v$ 的第 $k$ 个最小特征值（参见（23））。那么，如果且仅如果 $H=D^{-1/2}X$，其中 $X=[x_1,x_2,...,x_k]\in R^{n\times k}$ 包含与 $L_n^{\sigma }$ 的 $k$ 个最小特征值对应的 $k$ 个特征向量，则 $H$ 是迹最小化问题（18）的解。

我们基于投影特征值问题（25）和Hotelling的缩减方法的最终算法在算法3中呈现，简称为可伸缩FairSC算法，简记为s-FairSC。

实现问题 关于s-FairSC，我们讨论了几个实现问题。(i) 对于 $L_n^{\sigma }$ 的特征值计算，我们可以使用迭代特征值求解器，比如MATLAB中的eigs函数，它基于ARPACK（Lehoucq等，1998），一种隐式重启Arnoldi方法。特征值求解器只需要通过矩阵向量乘法 $L_n^{\sigma }w$ 来访问 $L_n^{\sigma }$。根据（32），我们有：

这需要两次使用投影操作与矩阵 $P$。 (ii) 投影P在(26)中可以写作 $P=I-C(C^{T}C{)}^{-1}{C}^T$，参考文献例如Golub等人(2000)。因此，$Pw$ 仅需要与矩阵 $C$ 进行操作：

其中 $z=(C^{T}C{)}^{-1}{C}^{T}w$ 是最小二乘问题 $mi{n}_z{\Vert Cz-w\Vert }_2$ 的解。对于小到中等规模的问题，可以使用直接的最小二乘求解器求解z。对于大规模问题，可以使用迭代方法如 LSQR (Paige和Saunders, 1982)；这与计算 $P{L}_{n}P$ 的特征值的内外迭代过程是一致的 (Golub等，2000)。 (iii) 对于适当选择的移位 $\sigma$，可以使用 Lin 等人(2021)中推荐的 $L_n$ 的最大特征值估计。这样的移位也保证了Hotelling的缩减的数值稳定性 (Lin等，2021)。

3.4 Related work

将优化问题（18）转化为等价的特征值问题的想法非常自然。对于 $k=1$ 的情况，投影特征值问题（25）在Golub（1973）和（Golub and Van Loan，1996，p. 621）中得到了考虑。

从（25）式得到的投影特征值问题是所谓的约束特征值问题的一种形式，更一般地可以表述为 $Ax=\lambda Mx$，满足 $C^{T}x=0$ 的约束条件，其中 $A$ 和 $M$ 是对称矩阵，$M$ 是正定的。约束特征值问题在许多应用中都会出现。有许多可用的方法；例如，Arbenz 和Drmac（2002）提供了一个针对已知零空间的正半定A的算法；Baker和Lehoucq（2009）提供了一种预处理技术；Golub等人（2000）提供了一种用于处理大型矩阵的内外迭代的Lanczos过程；Porcelli等人（2015）提供了一种在结构有限元代码NOSA-ITACA中的解决过程。

对于许多约束特征值问题，矩阵 $C$ 对应于A的零空间，而约束条件$C^{T}x=0$ 是为了避免计算“零特征向量”。由于完全避免了A的零空间，因此与我们的问题（25）相比，不存在特征向量选择问题。特别地，Simoncini（2003）提出了一种基于零特征值偏移的约束特征值问题的重新表述。她的方法本质上将Hotelling的缩减作为一种特殊情况，但其目标是将整个A的零空间偏移。通过第3节的讨论，我们展示了Hotelling的缩减也能够将不需要的零向量与所需的向量分开。

4 EXPERIMENTS

4.1 Datasets

Modified Stochastic block model修改的随机块模型（m-SBM）。随机块模型（SBM）（Holland等，1983）是一种具有预定义块（真实聚类）的随机图模型。它被广泛用于生成用于聚类和社区检测的合成网络。为了考虑组公平性，我们利用了Kleindessner等人（2019）提出的修改的SBM（m-SBM）。在m-SBM中，将 $n$ 个顶点分配给 $k$ 个簇，以获得预定义的公平真实聚类 $V=C_1\cup \cdot \cdot \cdot \cup C_k$，并且仅依赖于它们是否属于相同的簇或组的顶点对之间放置边，从而生成图 $G(V,W)$（有关详细信息，请参见附录B.1）。假设 $V=\widehat{C_1}\cup \cdot \cdot \cdot \cup \widehat{C_k}$ 是计算得到的聚类。相对于公平真实聚类的质量通过错误率来衡量：

其中，$H$ 和 $\hat{H}$ 分别是公平真实聚类和计算得到的聚类的指示矩阵，${\Pi }_k$ 是所有 $k\times k$ 排列矩阵的集合。错误率计算了聚类错误的顶点比例。

FacebookNet是一个小型数据集，对应于2013年法国一所高中学生之间的Facebook友谊关系。该数据集是由Mastrandrea等人（2015）收集的，用于研究人类社交网络、信息传播渠道和观点形成。它也被用于聚类。数据集由两部分组成。一部分包含图 $G(V,W)$ 中学生之间的关系。V是学生的集合，$n=|V|=155$，$W$ 中的一条边表示两个学生之间的友谊关系。另一部分记录了学生的性别，$V=V_1\cup V_2$，其中 $V_1$ 和 $V_2$ 分别表示女生和男生，$|V1|=70$，$|V2|=85$。

随机拉普拉斯矩阵：为了创建一个随机图 $G(V,W)$，我们生成一个维度为 $R^{n\times n}$ 的随机对称权重矩阵 $W$，其预设稀疏度为 $s=10$，其中 $|V|=n$。基于 $W$，计算度矩阵 $D$ 和拉普拉斯矩阵 $L$。矩阵 $F\in R^{n\times (h-1)}$ 也被构建为一个随机矩阵。需要注意的是，在这个数据集中，F并不包含组成员信息，只保留了维度信息。该数据集仅用于可扩展性实验。

4.2 Experimental results

**实验4.1：**这个实验是在修改后的SBM上进行的。我们比较了SC、FairSC和s-FairSC的错误率（34式）和运行时间。

图1描述了SC、FairSC和s-FairSC的错误率和运行时间。SC和s-FairSC的测试模型大小从n = 1000增加到10000。由于计算成本较高，FairSC在n = 4000处停止，这与Kleindessner等人（2019）的研究结果相一致。

根据图1，我们观察到SC无法恢复公平的真实聚类，而FairSC和s-FairSC都能够恢复公平的真实聚类。就计算得到的聚类的公平性质而言，s-FairSC与FairSC一样公平。然而，s-FairSC的运行时间仅为FairSC的一小部分。例如，当n = 4000时，s-FairSC比FairSC快12倍。我们还观察到，s-FairSC在可扩展性方面与SC（即没有公平性约束）一样可靠。

**实验4.2：**在这个实验中，我们使用FacebookNet数据集来量化对精确组公平性的近似程度。表1记录了定义2.1中的数量。

作为替代，可以使用Chierichetti等人（2017）引入的平均平衡概念作为评估聚类的公平性的度量标准。给定一个计算得到的聚类 $V=\widehat{C_1}\cup \cdot \cdot \cdot \cup \widehat{C_k}$ 和组分割 $V=V_1\cup \cdot \cdot \cdot \cup V_h$，对于 $l=1,2,\cdot \cdot \cdot ,k$，聚类$\widehat{C_l}$ 的平衡定义如下：

根据表1和图2，我们观察到由于问题（15）被放松为问题（16），因此（5）中的等式不再成立。尽管如此，与SC相比，FairSC和s-FairSC在公平性方面都有所改善。此外，FairSC和s-FairSC产生的结果几乎完全相同。

**实验4.3：**在这个实验中，我们使用随机拉普拉斯矩阵来证明s-FairSC与SC一样可扩展。图3报告了SC和s-FairSC在问题规模从5000到10000时的运行时间。我们观察到，与SC相比，s-FairSC的计算成本只略高一些。

5 CONCLUDING REMARKS

FairSC（Kleindessner等人，2019）能够恢复更公平的聚类，但牺牲了性能和可扩展性。在本文中，我们提出了一种可扩展的FairSC（s-FairSC）。s-FairSC结合了零空间投影和Hotelling的缩减，使得所有的计算核心只涉及稀疏矩阵-向量乘积，并能充分利用公平SC模型的稀疏性。我们使用修改后的SBM来证明s-FairSC在恢复公平聚类方面与FairSC一样准确。与此同时，对于中等规模的SC模型，s-FairSC的速度提高了12倍，并且在计算成本上与没有公平性约束的SC相比，显示出可扩展性的特点，计算成本只有轻微增加。

一个有趣的未来工作问题是开发可扩展的算法，以更宽松的方式解决组公平性条件5。例如，Bera等人（2019）引入了一种具有下界和上界的聚类组公平性概念：

其中βs和αs分别是组Vs的下界和上界，满足0 < βs ≤ αs < 1（见表1中报告的数值数据）。另一个研究课题是将对s-FairSC的研究扩展到个体公平性，即任何两个在特定敏感属性上相似的个体应该被同等对待（Dwork等人，2012；Zemel等人，2013）。Gupta和Dukkipati（2021）提出了一个带有个体公平性约束的SC模型。然而，由于计算核心的高成本，现有算法无法扩展。