最近在做文本挖掘中的若干问题的研究,由于个人的起点不高,实验初期属于复现别人系统以及用简单的算法小做实验中。此文主要是针对文本聚类叙述一二。在神经网络基础知识打的不牢固的情况下,只能从简单的机器学习算法做起,在机器学习算法中,KNN和k-means比较明显的差别就是KNN属于有监督学习,K-MEANS属于无监督学习。本文就是对k-means算法的一个简单应用。
在下面的代码中,首先是k-means算法的模型,其次是对文本的处理。
#coding=utf-8
import numpy
import matplotlib.pyplot as plt
#计算向量的欧式距离
# def distEclud(vecA,vecB):
# return numpy.sqrt(sum(numpy.power(vecA-vecB, 2)))
#改余弦
def distEclud(vecA,vecB):
dist=1 - numpy.dot(vecA,vecB)/(numpy.linalg.norm(vecA)*numpy.linalg.norm(vecB))
return dist
# 该函数为给定数据集构建一个包含k个随机质心的集合。
# 随机质心必须要在整个数据集的边界之内,这可以通过找到数据集每一维的最小和最大值来完成。
# 随后生成0到1.0之间的随机数并通过取值范围和最小值,以便确保随机点在数据的边界之内。
def randCent(dataMatArray,k):
#shape函数取维度
n = numpy.shape(dataMatArray)[1]
#生成k行n列的全零矩阵
centroids = numpy.array(numpy.zeros((k, n)))
#构建簇质心
for j in range(n):
#找到数据集每一维的最小值 max找最大
minJ = min(dataMatArray[:, j])
rangeJ = float(max(dataMatArray[:,j])-minJ)
#往全零矩阵里面添值
centroids[:,j] = numpy.array(minJ + rangeJ * numpy.random.rand(k, 1)).flatten()
return centroids
#print(randCent(dataMatArray, 2))
# kMeans函数一开始确定数据集中数据点的总数,然后创建一个矩阵来存储每个点的簇分配结果。
# 簇分配结果矩阵clusterAssment包含两列:一列记录簇索引值,第二列存储误差(误差即为