聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut

聚类算法是ML中一个重要分支，一般采用unsupervised learning进行学习，本文根据常见聚类算法分类讲解K-Means, K-Medoids, GMM, Spectral clustering，Ncut五个算法在聚类中的应用。

Clustering Algorithms分类

1. Partitioning approach:

        建立数据的不同分割，然后用相同标准评价聚类结果。（比如最小化平方误差和）

        典型算法：K-Means, K-Medoids

2. Model-based:

       对于每个类假定一个分布模型，试图找到每个类最好的模型

       典型算法：GMM（混合高斯） 

3. Dimensionality Reduction Approach:

       先降维，再聚类

       典型算法：Spectral clustering，Ncut

下面分别解析~

1. Partitioning approach

1.目标：

       找出一个分割，使得距离平方和最小

2.方法：

       Global optimal : 枚举所有partition

       Heuristic method：K-Means, K-Medoids

3.K-Means算法：

       1. 将数据分为k个非空子集

       2. 计算每个类中心点（k-means<centroid>中心点是所有点的average），记为seed point

       3. 将每个object聚类到最近seed point

       4. 返回2，当聚类结果不再变化的时候stop

复杂度：

       O（kndt）

       -计算两点间距离：d

       -指定类：O(kn)   ,k是类数

       -迭代次数上限：t