python 增量聚类_适合大数据的聚类算法Mini Batch K-Means

K-Means算法是常用的聚类算法，但其算法本身存在一定的问题，例如在大数据量下的计算时间过长就是一个重要问题。为此，Mini Batch K-Means，这个基于K-Means的变种聚类算法应运而生。

大数据量是什么量级？通过当样本量大于1万做聚类时，就需要考虑选用Mini Batch K-Means算法。但是，在选择算法时，除了算法效率(运行时间)外，算法运行的准确度也是选择算法的重要因素。Mini Batch K-Means算法的准确度如何？

上图是我们队3万的样本点分别使用K-Means和Mini Batch KMeans进行聚类的结果，由结果可知，在3万样本点的基础上，二者的运行时间相差2倍多，但聚类结果差异却很小(右侧粉红色的错误点)。

因此，Mini Batch KMeans是一种能尽量保持聚类准确性下但能大幅度降低计算时间的聚类模型。

K-Means的计算时间到底跟样本量之间是怎样的关系(用脚想也知道是样本量越大，计算时间越长)，我们用一个实例来实验下。在下面的例子中，利用Python生成一个具有三个分类类别的样本类，其中的样本点(二维空间)的数量从100开始增长到1000000(步长为1000)，我们用图例来看看计算时间与样本量的关系。(为了得到下面这幅图，我等了2个小时)结果如下：

从图中可以发现，在样本点为二维空间前提下，当数据量在2之下时，计算时间都可以接受(2秒以内)；但是计算时间跟数据量基本成线性关系，计算1000000个样本聚类