NLP之简单k-means实现的文本聚类

最新推荐文章于 2021-02-20 17:13:56 发布

magical61

最新推荐文章于 2021-02-20 17:13:56 发布

阅读量8k

点赞数 6

文章标签： NLP python 文本聚类

本文链接：https://blog.csdn.net/magical61/article/details/78697814

版权

本文介绍了如何使用Python和k-means算法进行文本聚类。通过处理文本，计算词频，并将文本转换为词向量，最终利用k-means进行聚类。文中提供了详细的代码示例，包括数据预处理、k-means模型构建和结果展示。

摘要由CSDN通过智能技术生成

最近在做文本挖掘中的若干问题的研究，由于个人的起点不高，实验初期属于复现别人系统以及用简单的算法小做实验中。此文主要是针对文本聚类叙述一二。在神经网络基础知识打的不牢固的情况下，只能从简单的机器学习算法做起，在机器学习算法中，KNN和k-means比较明显的差别就是KNN属于有监督学习，K-MEANS属于无监督学习。本文就是对k-means算法的一个简单应用。

在下面的代码中，首先是k-means算法的模型，其次是对文本的处理。

#coding=utf-8 
import numpy
import matplotlib.pyplot as plt

#计算向量的欧式距离
# def distEclud(vecA,vecB):
#     return numpy.sqrt(sum(numpy.power(vecA-vecB, 2)))

#改余弦
def distEclud(vecA,vecB):
    dist=1 - numpy.dot(vecA,vecB)/(numpy.linalg.norm(vecA)*numpy.linalg.norm(vecB))
    return dist
# 该函数为给定数据集构建一个包含k个随机质心的集合。
# 随机质心必须要在整个数据集的边界之内，这可以通过找到数据集每一维的最小和最大值来完成。
# 随后生成0到1.0之间的随机数并通过取值范围和最小值，以便确保随机点在数据的边界之内。

def randCent(dataMatArray,k):
    #shape函数取维度
    n = numpy.shape(dataMatArray)[1]
    #生成k行n列的全零矩阵
    centroids = numpy.array(numpy.zeros((k, n)))
    #构建簇质心
    for j in range(n):
        #找到数据集每一维的最小值  max找最大
        minJ = min(dataMatArray[:, j])
        rangeJ = float(max(dataMatArray[:,j])-minJ)
        #往全零矩阵里面添值
        centroids[:,j] = numpy.array(minJ + rangeJ * numpy.random.rand(k, 1)).flatten()
    return centroids
#print(randCent(dataMatArray, 2))

# kMeans函数一开始确定数据集中数据点的总数，然后创建一个矩阵来存储每个点的簇分配结果。
# 簇分配结果矩阵clusterAssment包含两列：一列记录簇索引值，第二列存储误差（误差即为