Sklearn(二): sklearn.cluster 各种聚类方法解析

Classes1

各种聚类方法特性汇总：

sklearn.cluster.KMeans

from sklearn.cluster import KMeans
KMeans(n_clusters=8,init='k-means++',n_init=10,max_iter=300,tol=0.0001,precompute_distances='auto',verbose=0,random_state=None,copy_x=True,n_jobs=1,algorithm='auto')
#n_clusters:class的个数；
#max_inter:每一个初始化值下，最大的iteration次数；
#n_init:尝试用n_init个初始化值进行拟合;
#tol:within-cluster sum of square to declare convergence;
#init=‘k-means++’：可使初始化的centroids相互远离；

算法要点：
1、将training data (X)分为k clusters；
2、object function:

3、缺陷：
1）KMeans假设clusters是convex or isotropics;他不能很好的拟合elongated clusters or manifolds with irregular shape；
2）欧几里得距离会随着特征数量的增加（dimension），而变得越来越膨胀；从而影响模型收敛。针对这一问题，一个好的解决方法是：可以利用PCA等降维工具先将data的特征数目降低在可接受的范围内，然后在计算其欧几里得距离；
3）initial centroids选择不慎，可能会使模型convergence to local minimum；利用KMeans的参数init=‘k-means++’，可以使initial centroids相互远离，从而使模型收敛到一个更好的结果。

sklearn.cluster.MiniBatchKMeans

from sklearn.cluster import MiniBatchKMeans(n_clusters=8,init='k-means++',max_iter=100,batch-size=100,verbose=0,compute_labels=True,random_state=None,tol=0.0,max_no_improvement=10,init_size=None,n_init=3,reassignment_ration=0.01)
#n_clusters: class数量；
#batch_size：用来拟合KMeans的subset size；
#compute_labels=True：将在batch_size上的拟合结果应用到整个data;
#tol：目标函数变化值<tol时，停止迭代；
#max_no_improvement：当max_no_improvement个batchset停止迭代时，给出最终的模型拟合结果；

算法要点：
相比标准的KMeans算法，MiniBatchKMeans是在subset进行模型拟合；其拟合效果比标准的KMeans算法略差（差别较小）；但是MiniBatchKMeans的收敛速度要快于KMeans；

sklearn.cluster.AffinityPropagation

from sklearn.cluster import AffinityPropagation
AffinityPropagation(damping=0.5,max_iter=200,convergence_iter=15,copy=True,preference=None,affinity='euclidean',verbose=False)
#damping：减振因子，用来避免在iteration中r,a的来回震荡；
#preference???
#convergence_iter：在estimated cluster数量不变后，还要进行的iteration次数；
#affinity：用来估计样本之间亲密度的函数：{precomputed,euclidean}，{事先定义，欧几里得}

算法要点：
1）工作原理：

1. AffinityPropagation不需要在运行算法前确定聚类的个数；AffinityPropagation的要旨是选择exampler(data中实际存在的点)，用来代表data（exampler的初始化主要是通过preference设定的）；
2. 在算法中，exampler的选择主要是通过两个函数进行的：responsibility r(i,k)：the responsiblity of sample k to be the exampler of sample i，availability a(i,k)：the availability of sample k to be the exampler of sample i；
3. 在算法开始时，将r(i,k)和a(i,k)均设为0，iteration，直到r，a都达到收敛；为了减小r，a在iteration中的震荡，可以引入减振因子（可用damping参数实现）；
   2）缺陷：算法时间复杂度和空间复杂度均很高;
   3）相关公式：
   
   4）参考博文

sklearn.cluster.MeanShift

from sklearn.cluster import MeanShift
MeanShift(bandwidth=None,seeds=None,bin_seeding=False,min_bin_freq=1,cluster_all=True,n_jobs=1)

算法要点：
1）缺陷：由于算法运行过程中需要多次计算最近邻points，因此，该算法的可扩展性不高；estimate_bandwidth function，相比MeanShift算法具有更低的可扩展性，因此，如果在MeanShift算法中引入estimate_bandwidth，将进一步限值MeanShift的使用；
2）参考博文：
MeanShift聚类算法
MeanShift算法介绍

sklearn.cluster.SpectralClustering

from sklearn.cluster import SpectralClustering(n_clusters=8,eigen_solver=None,random_state=None,n_init=10,gamma=1.0,affinity='rbf',n_neighbors=10,eigen_tol=0.0,assign_labels='kmeans',degree=3,coef0=1,kernel_params=None,n_jobs=1)
#n_clusters：聚类的个数；
#eigen_solver：使用的特征值分解策略；
#gamma：计算相似矩阵时，如果使用核函数，该核函数的系数；
#affinity：计算相似度时使用的距离公式；
#n_neighbors：利用k近邻方法构建邻接矩阵时，所使用的k近邻；
#eigen_tol：Stopping criterion for eigendecomposition of the Laplacian matrix when using arpack eigen_solver.
#assign_labels：通过求解“拉普拉斯矩阵特征值”，获得指示向量矩阵（类似于降维后的特征），在指示向量矩阵的基础上，对矩阵各行，运用assign_labels进行聚类；取值：{kmeans,discretize}；
#degree：Degree of the polynomial kernel. Ignored by other kernels；
#coef0：Zero coefficient for polynomial and sigmoid kernels. Ignored by other kernels.
#kernel_params：Parameters (keyword arguments) and values for kernel passed as callable object. Ignored by other kernels.
#n_jobs：The number of parallel jobs to run. If -1, then the number of jobs is set to the number of CPU cores.

算法要点：
1）优点：

1. 谱聚类只需要数据之间的相似度矩阵，因此对于处理稀疏数据的聚类很有效。这点传统聚类算法比如K-Means很难做到；
2. 由于使用了降维，因此在处理高维数据聚类时的复杂度比传统聚类算法好。
   2）缺点：
3. 如果最终聚类的维度非常高，则由于降维的幅度不够，谱聚类的运行速度和最后的聚类效果均不好。
4. 聚类效果依赖于相似矩阵，不同的相似矩阵得到的最终聚类效果可能很不同。
   3）参考博文：
   谱聚类原理总结
   谱聚类及其实现详解

sklearn.cluster.AgglomerativeClustering

from sklearn.cluster import AgglomerativeClustering
AgglomerativeClustering(n_clusters=2,affinity='euclidean',memory=None,connectivity=None,compute_full_tree='auto',linkage='ward',pooling_func=<function mean>)
#affinity：距离计算公式：{eucidean,l1,l2,cosine,manhattan,precomputed}
#memory：是否要缓冲；
#connectivity：是否设定connectivity matrix;
#compute_full_tree：是否要进行完全聚类；
#linkage：进行聚类的标准：{ward,complete,average}

算法要点：
1）将两个不同的类进行融合的标准有3：

1. ward：minimizes the sum of squared differences within all clusters;
2. complete：minimizes the maximum distance between observations of pairs of clusters;
3. average：minimizes the average of the distances between all observations of pairs of clusters.
4. note that：Agglomerative cluster 可能会导致各个cluster间大小的不均衡；complete 能够导致非常不均衡簇的产生，相比而言 ward 可以产生相对均衡的簇，但是，ward只能采用欧几里得距离公式，不能使用其他的距离公式，因此，如果要用其他的距离公式进行聚类，可使用 average 策略。
   2）在算法中引入connectivity matrix 不仅可以将算法应用于更大的数据集，而且可以禁止聚类在特定的subset之间发生，如下图，可保证聚类不在各个folds间发生：
   
   3）度量两点之间距离的公式：{l1,l2,manhattan,cosine,ecludiean}
5. l1 ：比较实用于稀疏矩阵；
6. cosine ：对于数据全局的缩放，可以保持距离不变；

sklearn.cluster.DBSCAN

from sklearn.cluster import DBSCAN
DBSCAN(eps=0.5,min_samples=5,metric='euclidean',mtric_params=None,algorithm='auto',leaf_size=30,p=None,n_jobs=1)
#eps：对象半径；
#min_samples：一个核心对象应该拥有的最少sample数；
#metric：计算样本之间距离的公式；{precomputed,callable}
#algorithm：用来找最近邻样本点算法{'auto','ball_tree','ke_tree'}
#leaf_size：kd_tree或ball_tree中的叶子节点数；决定了搜索快慢；

算法要点：
1）对于给定ordered data，其多次运用该算法的聚类结果相同，但是，对于不同order的同一data，可能会得到不同的结果；
2）如果一个data中重复value较多，可以做成稀疏矩阵，将各个数据根据其重复度设定一个weight，进而，在用DBSCAN拟合数据；
3）参考博文：DBSCAN简介

sklearn.cluster.Birch

from sklearn.cluster import Birch
Birch(threshold=0.5,branching_factor=50,n_clusters=3,compute_labels=True,copy=True)
#threshold：subcluster的半径，如果某一样本点的加入，使subcluster半径超过这个值，则该样本会被分到其它的subcluster；
#branching_factor：每个node拥有的CF个数，如果新加入的CF使node中的CF数超过设定值，则将该Node一分为二；
#n_clusters：想要得到的cluster数量；如果n_cluster=None，则输出叶子结点中所有CF；如果n_cluster= int，则将叶子节点中的CF再次进行聚类；如果n_cluster=instance of sklearn.cluster.model，则将叶子节点中的CF看作new data，利用该model进行聚类；
#copy=False：将overwritten data；
#compute_labels=True：计算所有data sample的label；

算法要点：
1）优点：

1. 节约内存，所有的样本都在磁盘上，CF Tree仅仅存了CF节点和对应的指针。
2. 聚类速度快，只需要一遍扫描训练集就可以建立CF Tree，CF Tree的增删改都很快。
3. 可以识别噪音点，进行异常点检测，还可以对数据集进行初步分类的预处理，降低数据实例数量；
4. Birch和MiniBatch一样，都使用与数据量较大的情况，但是，MiniBatch适用于类别数较少或中等的情况，而Birch使用与类别数较大的情况；
   2）缺点：
5. 由于CF Tree对每个节点的CF个数有限制，导致聚类的结果可能和真实的类别分布不同.
6. 对高维特征的数据聚类效果不好。当n_feature > 20时，此时可以选择Mini Batch K-Means。
7. 如果数据集的分布簇不是类似于超球体，或者说不是凸的，则聚类效果不好。
   3）参考博文：BIRCH聚类算法原理

clustering performance evaluation

from sklearn import metrics
metrics.adjusted_rand_score(labels_true,labels_pred)
metrics.adjuested_mutual_info_score(labels_true,labels_pred)
metrics.homogeneity_score(labels_true,labels_pred)
metrics.completeness_score(labels_true,labels_pred)
metrics.v_measure_score(labels_true,labels_pred)
metrics.homogeneity_completeness_v_measure(labels_true,labels_pred)
metrics.fowlkes_mallows_score(labels_true,labels_pred)
metrics.silhouette_score(X,labels,metric='euclidean')
metrics.calinski_harabaz_score(X,labels)

参考文献：Clustering

Class 2

sklearn.cluster.Biclustering

Biclustering 简介

Biclustering同时对rows和columns进行聚类，每一个cluster(rows,columns)被叫做一个bicluster，在聚类的过程中，会重新排列data matrix的rows和columns；比如，一个data matrix(10,10)，通过Biclustering，可能会形成一个(3,2)的bicluster（submatrix）；
sklearn.cluster.bicluster中有两种biclustering的function：

SpectralBiclustering

sklearn.cluster.bicluster.SpectralBiclustering(n_clusters=3,method='bistochastic',n_components=6,n_best=3,svd_method='randomized',n_svd_vecs=None,mini_batch=False,init='k-means++',n_init=10,n_jobs=1,random_state=None)

该algorithm形成的是一个hidden checkboard structure biclusters,每一个checkboard内各个点的值几乎相同，因此，该checkboard structure提供了一个对原data的近似；
checkboard structure如下图所示：

SpectralCoclustering

sklearn.cluster.bicluster.SpectralCoclustering(n_clusters=3,svd_method='randomized',n_svd_vecs=None,mini_batch=False,init='k-means++',n_init=10,n_jobs=1,random_state=None)

该algorithm形成的是一个diagonal structure，diagonal上的每一个bicluster代表了data matrix中的high values。此算法通过对data matrix gaph进行归一化，从而找到数据图中的heavy subgraph（The algorithm approximates the normalized cut of this graph to find heavy subgraphs.）其结构如下图所示：