聚类算法（七）—— Kmeans（含标签聚类和文本聚类代码）

聚类算法相关：

聚类算法（一）——DBSCAN

聚类算法（二）—— 优缺点对比

聚类算法（三）—— 评测方法1

聚类算法（三）—— 评测方法2

聚类算法（三）—— 评测方法3(代码）

聚类算法（四）—— 基于词语相似度的聚类算法（含代码）

聚类算法（五）——层次聚类 linkage （含代码）

聚类算法（六）——谱聚类 （含代码）

 

 

写了那么多聚类文章，没写Kmeans感觉不太厚道， 但是相对来说目前Kmeans介绍的博文很多，相对来说逻辑也比较简单，所以这里我贴一篇个人感觉写的比较好的Kmeans介绍，供大家参考 

K-Means聚类算法原理

步骤

步骤粘过来：

 

代码

顺便上个我写的KMeans的代码：

from sklearn.cluster import KMeans

# 加载word2vec模型
model_file = '' # word2vec model
model = gensim.models.Word2Vec.load(model_file)

words = ['', '', ''] # 这里写要聚类的词语

X = [model[x] for x in words]
kmeans_model = KMeans(n_clusters=cluster_number, init='k-means++', random_state=1).fit(X)
labels = kmeans_model.labels_

将model_file 填上word2vec词向量模型， words输入要聚类的词语即可。 word2vec词向量训练可以参考 文本表示（二）—— word2vec 词向量训练代码

解释下， NLP方面做的聚类多是针对文本的，如果是对数值相关的特征进行聚类操作，可以直接不加word2vec查询词向量这一步，或者可以从网上搜一些其他的例子，数值聚类的有很多。

下面我来介绍一下针对文本聚类的操作，举的例子是针对词的，这里例子只是简单的对词语聚类，当然如果要对短语或者是句子聚类是需要调整输入的X特征的，详细可以参见 聚类算法（四）—— 基于词语相似度的聚类算法（含代码）代码的相似度部分，有相关的代码示例。

上面代码中，通过word2vec模型查着对应词语的词向量表示，作为输入的特征，进一步送到KMeans模型进行聚类。

还要说的一点是， 这里选用了KMeans++， 很多情况下比KMeans效果要好一些，聚类算法（二）—— 优缺点对比  优缺点对比中我们可以看到， KMeans的其中一个缺点是初始化中心点的选择问题，这个也是KMeans和EM都具有的问题，不同的初始化会导致结果不同，可能导致局部收敛，为了避免这个问题，K-Means++对K-Means随机初始化质心的方法进行了优化，质心选择的阶段，对每个非已选取质心点，判断其距离已选取质心距离的最小值，选择这些非质心点中这个最小值最大的点作为新添加的质心点。详细可参考：K-Means聚类算法原理     参考下一章内容

 

方法二：

如果说我没有数据训练词向量，且也没有一个现成的词向量，或者我就懒得训练一个词向量怎么办呢？

这里给一个适用于文本的tfidf的方案：

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.cluster import KMeans
import jieba

def segment(x):
    segments = jieba.cut(str(x))
    return " ".join(segments)

texts = ['','',''] # 句子序列
seg_texts = [segment(x) for x in texts]

tfvec = TfidfVectorizer()
model = KMeans(n_clusters=k, init='k-means++', random_state=9)
cv_fit = self.tfvec.fit_transform(seg_texts).toarray()
y_pred = model.fit_predict(cv_fit)

这里再多说一句， 上面贴的两块代码，可以适用于很多文本聚类的算法，将KMeans进行替换即可。

 

KMeans++

这里有一篇说的很好的，贴过来  KMeans - 概述

写下KMeans++逻辑：

其实说的有点绕，直白点说，就是先随机给一个中心点，剩下的挨个选，选的逻辑是找与当前中心点最远的点，但是不直接把距离当前已有中心点s 最远的点作为新的中心点，而是给其他的点各附一个概率，概率正比于 距已有中心点的距离，就还是越远概率越高，但是随机给一个概率就可以避免离群噪声点的影响，而将更集中一起的一个簇中的点更可能被找到（为什么，因为簇里面点比较多，概率乘以m，那就比离群点的概率要大了，就是我一群一面选一个跟离群点自己被选中比，肯定更有优势）