聚类算法（二）

7.算法优化

• k-means算法小结

  优点：

  • 1.原理简单（靠近中心点），实现容易
  • 2.聚类效果中上（依赖k的选择）
  • 3.空间复杂度o(N)， 时间复杂度o(IKN)

  缺点：

  • 1.对离群点，噪声敏感
  • 2.很难发现大小差别很大的簇及进行增量计算
  • 3.结果不一定是全局最优，只能保证局部最优（这个与K的个数和初值的选取有关）

• Canopy算法小结

  优点：

  • 1.K-means对噪声抗干扰弱，通过Canopy对比，将较小的NumPoing的Cluster直接去掉有利于抗干扰。
  • 2.Canopy选择出来的k更精准
  • 3.只是针对每个Canopy的内做K-means聚类，减少相似计算的数量

  缺点:

  • 算法中T1、T2的确定问题，依然可能落入局部最优解

• K-means++

  kmeans++目的，让选择的质心尽可能的分散

• 二分k-means

  • 1.所有点作为一个簇
  • 2.将该簇1分为2
  • 3.选择能最大限度降低聚类代价函数（也就是误差平方和）的簇划分为两个簇
  • 4.重复进行，知道簇的数目等于用给定的数目k为止

  隐含的一个原则：

  因为聚类的误差平方和能够衡量聚类性能，则该值越小表示数据点越接近质心，聚类效果越好。所以需要对误差平方和最大的簇再进行一次划分，因为误差平方和越大， 表示该簇聚类效果越不好，越有可能是多个簇被当成了一个簇，所以我们首先需要对这个簇进行划分。

  二分K均值算法可以加速k-means算法的执行速度，因为它的相似度计算少了并且不受初始化问题的影响，因为这里不存在随机点的选取，切每一步都保证了误差最小。

• k-medoids（K-中心聚类算法）

  k-medoids-和K-means是有区别的，不一样的地方在于中心点的选取

  • k-means中，将中心点取为当前cluster中的所有数据点的平均值，对异常点很敏感
  • k-medoids中，将从当前cluster中选取到其他所有点的距离之和最小的点作为中心点

  算法流程：

  1)总体n个样本中任意选取k个点作为medoids

  2)按照与medoids最近的原则，将剩余的n-k个点分配到当前最佳的medoids代表的类中

  3)对于第i个类中除对应medoids中外的所有其他点，按顺序计算当其为新的medoids时，代价函数的值，遍历所有可能，选取代价函数最小时对应的点作为新的medoids

  4)重复2-3步骤，知道所有的medoids点不再发生变化或者已达到设定的最大迭代次数

  • k-medoids对噪声鲁棒性好。但只能对小样本起作用，样本大速度就太慢了。所以用k-means比k-medoids更实用。

• Kernel k-means

  kernel k-means实际上，就是将每个样本进行一个投射到高维空间的处理，然后再将处理后的数据使用普通的k-means算法思想进行聚类。

• ISODATA

  类别数目随着聚类过程而变化；

  对类别数会进行合并，分裂，

  “合并”：（当聚类结果某一类中样本数太少，或两个类间的距离太近时）

  “分裂”：（当聚类结果中某一类的类内方差太大，将该类进行分裂）

• Mini Batch K-Means

  适合大数据的聚类算法

  大数据量是什么量级？通常当样本量大于1万做聚类时，就需要考虑选用Mini Batch K-Means算法。

  Mini Batch KMeans使用了Mini Batch（分批处理）的方法对数据点之间的距离进行计算。

  Mini Batch计算过程中不必使用所有的数据样本，而是从不同类别的样本中抽取一部分样本来代表各自类型进行计算。由于计算样本量少，所以会相应的减少运行时间，但另一方面抽样也必然会带来准确度的下降。

  该算法的迭代步骤有两步：

  (1)从数据集中随机抽取一些数据形成小批量，把他们分配给最近的质心

  (2)更新质心

  与Kmeans相比，数据的更新在每一个小的样本集上。对于每一个小批量，通过计算平均值得到更新质心，并把小批量里的数据分配给该质心，随着迭代次数的增加，这些质心的变化是逐渐减小的，直到质心稳定或者达到指定的迭代次数，停止计算。