【Estimation of the Number of Clusters】X-means in ICML 2000 个人理解

一、简介

题目： X-means: Extending K-means with Efficient Estimation of the Number of Clusters
会议： ICML 2000
任务： 估计无标签数据的类别数量并聚类。
Idea： 给定预估的类别数上下界，从下界开始做一次$k$-means，再对每个簇进行$k$-means（$k=2$），之后通过贝叶斯信息准则（Bayesian Information Criterion, BIC）判断$k$应该等于2还是1，如此往复直至$k$不再增加或到达上界。

二、详情

如图，X-means通过将现有簇一分为二并对比前后BIC分数来确定当前簇是否应该被分割。

1. 算法步骤

输入：无标签数据$D$，预估类别数上下界限$K_{\max }$和$K_{\min }$。
输出：预测的类别数量和聚类结果。
（1）初始化$k_{new}=K_{\min }$；
（2）设定$k=k_{new}$，执行一次$k$-means，形成$k_{new}$个簇；
（3）对于每个簇，计算它们当前的BIC值（计算方法见下一节）；
（4）在每个簇上，设定$k=2$，执行$k$-means，每个簇都被分割为2个新簇；
（5）对于每个新簇对（一对新簇是指分割自同一簇的两个新簇），计算它们的BIC值；
（6）比较（3）和（5）得到的BIC值，对于一个簇来说，如果后者BIC值更大，则应该对其进行分割，于是$k_{new}=k_{new}+1$；
（7）如果（6）中$k_{new}$没有增加或$k_{new}\ge K_{\max }$则算法终止；否则，转（2）。

2. BIC评分

BIC_notes中指出原文BIC计算公式存在错误，因此，我们仅对BIC_notes中的公式进行介绍，公式如下：

其中，$\varphi$为簇的分割状态，$p_{\varphi }$为该状态下的模型参数量，$R$为样本总数，${\hat{l}}_{\varphi }(D)$公式如下：

其中，$K$为当前簇的数量，$R_n$为第$n$个簇的样本数，$M$为样本长度，${\hat{\sigma }}^2$公式如下：

其中，$x_i$为第$i$个样本，${\mu }_{(i)}$为$x_i$所在簇的样本中心。

经过整理，去除与簇的分配无关的参数可知实际BIC得分对比公式如下：

其中，${\varphi }_1$和${\varphi }_2$为分割前后簇的状态。可知，第一项对比的是各簇的样本数量是否平均，第二项对比的是簇的数量，第三项对比的是各簇的样本方差，第四项对比的是参数量。