无监督的一致性聚类（consensus）的通俗理解

一、背景介绍

当我们听到一致性聚类的时候，有时候我们会认为这是一种聚类方法。如果您也这样想的话，那就完全入坑了。下面我们来说一下，什么是一致性聚类（consensus）?
聚类的算法有许多，比如划分式聚类（k-means），基于密度的聚类算法（DBSCAN, OPTICS），层次聚类算法等，这些的方法的实现还是相对较为容易的（毕竟有数学公式推导，相信只要能看懂数学公式，实现都不是问题），那么主要的问题是什么呢？ 在于如何选择合适的参数从而得到最优的分类（最优包括稳定的，有意义的分类结果）。

• 稳定的分类是前提，不能几次聚类得到的结果差别很大，那样结果就不可信。
• 有意义的分类，通常让你分类的数据在现实中都有某些实际的意义，生物学上的一些数据，比如不同的RNA序列经过聚类，我们目标是得到具有特定生物学意义的分类（与某种疾病相关啊或者与某种生物学功能相关啊这些）。所以，聚类只是方法，最终我们要回答的问题是得到的类有什么特征，有什么意义。

二、一致性聚类

一致性聚类是为不同的聚类算法，选择最优的聚类数量（K）。其具体的原理是：通过改变聚类的数据集（里面的数据全部从原始数据中抽取，也可以理解为是原始数据的子集），考量任意一个数据在不同样本中聚类表现的一致性来确定聚类的参数是否合适。
通俗的步骤理解为：

• 第一步：从原始数据中随机抽取子集，当然子集的规模不能太小，最好是原始数据集的半数以上（这是我自己理解的，数据太少聚类的话没有意义），子集要尽量多，以确保里面的每一个数据都多次被取到（100次以上），然后，我们选择任意一种聚类方法，可以使K-means或者层次聚类，对所有的数据子集分别聚类。
• 第二步：这一步的关键在于建立一个新的矩阵：consensus matrix， 我们之前说聚类的输入通常是一个distance matrix。 那么consensus matrix怎么建呢？假设有$D_1，D_2...D_n$这N个数据，那么consensus matrix是 $N\times N$ 的方阵。
  ----- D1 D2 D3… Dn
  D1 C11 C12 C13… C1n
  D2 C21 C22 C23… C2n
  … Cij
  Dn Cn1 Cn2 Cn3… Cnn

其中，$C_{i}j$ 代表的是在多次的聚类过程中，数据 $D_i$和数据$D_j$ 被聚到同一类里面的概率（该值在0和1之间），等于1代表100次聚类这两个数据点全部在同一个类里面，等于0代表代表100次聚类全部不在同一个类里面。

那么，好的聚类方法会得到怎么样的consensus matrix呢？对了，全部由0或1组成的方阵，代表着那些很像的数据总在一类，而不像的数据则总是不在一类，这正符合了聚类的初衷是吧。
再对consensus matrix做一次聚类(这里用层次聚类方便可视化），只有0和1的矩阵，就让是1的都聚在一起，而0的都分开来，用heatmap看起来就是下面这样的

看起来很爽吧，这就是离得近的全部都聚在红色块里面而且分的很开。那么差的聚类就没这么好看了

比如，上面的情况，我们取不同的k值时，显然聚类效果不同，越是干净，越是效果好；不好的聚类参数则表现出越是有很多“噪音”。

有些情况下，仅仅通过看不同参数下consensus matrix聚类出来的热图就基本可以判断怎么选择了。当然还有根据consensus matrix得来的数学参数用于评估聚类的稳定性的，这里我就暂且不写上来了。感兴趣的去下载参考文献自己看吧！

Reference

Monti,S., et al. (2003) Consensus clustering: A resampling-based method for class discovery and visualization of gene microarray, Mach Learn,52, 91-118