python for 加速_K-means算法SciPy加速实现

K-means算法很简单也很好写，几层for循环嵌套在一起搞定了。这里就不再赘述。

上图这种基于for循环的写法基本上只能用在教学用途，如果在实际工程中用这种嵌套for循环就会造成灾难。以512*512的图像压缩为例，上面双层for循环实现基本上没半个小时跑不出来。

K-means工程化或者半工程化的关键就是进行向量化和并行化，如果用Python来做的话，重点就是用好NumPy和SciPy。

这里推荐SciPy的cdist方法，我找了很久才找到它（知乎上仅有少数几个朋友写了cdist，不过并没突出它的加速比）。cdist方法可以并行化地计算向量N与向量M之间元素的两两距离，然后返回N*M的距离矩阵。

SciPy v1.3.2 Reference Guide​docs.scipy.org

使用了这个cdist函数之后，就可以把多层嵌套的kmeans实现提速大概100多倍。仅仅优化这个部分就可以把整个算法的性能提高75%以上，贼给力。

这次的目的就是建议大家在写这种基于距离的算法时不要忘记了cdist。好了，不浪费大家时间，今天就讲这么多。