重叠聚类：Non-exhaustive, Overlapping Clustering

重叠聚类：Non-exhaustive, Overlapping Clustering

摘要：

NEO-K-Means (Non-Exhaustive, Overlapping K-Means)不仅解决了集群重叠问腿，而且实现对于异常值的检测。以一个统一的方式捕获重叠和非穷举问题，可以看作是K-Means目标的重新表述，对加权和K-Means进行扩展，并且为了优化目标，开发出快速迭代方法和低秩半定规划技术的复杂算法。

贡献：

1、NEO-K-Means目标提供了一种直观的方法来处理重叠和非穷举程度（未分配给任何集群的异常值数量），同时概括K-Means的目标。此外，通过考虑加权核K-Means的扩展，表明NEO-K-Means思想也可以应用于图聚类问题。将传统的基于归一化切割的图聚类目标扩展到非详尽、重叠的聚类设置。
2、为了优化NEO-K-Means目标函数，不仅开发出快速迭代算法，还开发出使用低秩半定规划技术更复杂的算法。首先提出一种简单的迭代算法，单调地降低了NEO-K-Means目标函数，并且推广了Lloyd的K-Means方法。为了使用迭代NEO-K-Means算法提供良好的初始化，研究NEO-K-Means目标的凸半定程序 (SDP)。此外，提出SDP解矩阵的低秩分解，并且使用增广拉格朗日方法实现求解过程，使其能够处理具有数万个数据点的问题，从而在凸求解器上提高一个数量级的可扩展性，还提出两种快速乘法器方法来加速增广拉格朗日方法的计算。

NEO-K-Means目标函数：

NEO-K-Means（非穷尽重叠K-均值）算法是对传统K-Means的一种扩展，旨在处理数据点可以属于多个簇（即重叠聚类）且不必每个数据点都必须分配到某个簇（即非穷尽）的情况。

NEO-K-Means的创新在于引入一个分配矩阵$U$，该矩阵的元素$u_{ij}$表示数据点$x_i$是否属于簇$j$。在非穷尽重叠聚类场景下，$U$矩阵的行可以有多个非零元素，意味着一个数据点可以属于多个簇；同时，也允许存在全零的行，表明某些数据点可能不属于任何簇。

为了控制簇间的重叠程度，NEO-K-Means通过约束$U$的迹（即所有对角元素之和）来设定总分配数为$n$加上$\alpha$倍的$n$，其中$\alpha$控制着簇间重叠的程度。同时，为了处理“异常值”或者远离簇中心的数据点未被分配的情况，算法还