机器学习Week9-K聚类

第三部分——无监督学习

在无监督学习中，类似分类和回归中的目标变量事先并不存在。要回答的问题是：“从数据X中能发现什么？”

第十章——利用K-均值聚类算法对未标注数据分组

聚类是一种无监督学习，它将相似的对象归到同一个簇中。它类似于全自动化分类（连类别体系都是自动构建的）
k-均值（k-means）聚类算法释义：该算法可以发现k个不同的簇，且每个簇的中心采用簇中所含值得均值计算而成。
簇识别（cluster identification）
簇识别给出聚类结果的含义。假定有一些数据，现在将相似数据归到一起，簇识别会告诉我们这些簇到底都是什么。
聚类和分类最大的不同在于，分类的目标事先已知，而聚类则不同。因为其产生的结果与分类相同，只是类别没有预先定义。聚类有时也被称为无监督分类。

10.1 K-均值聚类算法

优点：容易实现
缺点：可能收敛到局部最小值，在大规模数据集上收敛较慢
适用数据类型：数值型数据
伪代码：

创建k个点作为起始质心（通常为随机选择）
当任意一个点的簇分配结果发生改变时
      对数据集中的每个数据点
            对每个质心
                  计算质心与数据点之间的距离
            将数据点分配到距其最近的簇
      对每一个簇，计算簇中所有点的均值并将均值作为质心

K-均值聚类的一般流程
K均值聚类支持函数

d

ef loadDataSet(fileName):
    dataMat = [ ]
    fr = open(fileName)
    for line in fr.readlines():
        curLine = line.strip().split('\t')
        fltLine = map(float,curLine)
        dataMat.a[[end(fltLine)
    return dataMat
def distEclud(vecA, vecB):
    return sqrt(sum(power(vecA - vecB, 2)))

def randCent(dataSet, k):
    n = shape(dataSet)[l]
    centroids = mat(zeros((k,n))) 
    for j in range(n)
        minJ = min(dataSet[:,j')
        rangeJ = float(max(dataSet[:j]) - minJ)
        centroids[:,j]) = minJ + rangeJ * random.rand(k,l)
    return centroids
#构建簇质心

二分K均值算法

伪代码：

将所有点看成一个簇
当簇数目小于k时
对于每一个簇
计算总误差
在给定的簇上面进行K均值聚类（k=2)
计算将该簇一分为二之后的总误差
选择是的误差最小的那个簇进行划分操作

代码

def biKmeans(dataSet, k, distMeas=distEclud):
m = shape(dataSet)[0]
clusterAssment = mat(zeros((m,2)))
centroid0 = mea(dataSet, axis=0) .tolist()[0]
centList(centroid0)
for j in range(m)
clusterAssment[j,l] = distMeas(mat(centroid0), dataSet[j,:])**2
while (llen(centList) < k):
lowestSSE = inf
for i in range(len(centList)):
ptsInCurrCluster =
dataSet[nonzero(clusterAssment[:,0],A==i)[0],:]
centroidMat, splitClustAss =
kMeans(ptsInCurrCluster, 2 , distMeas)
sseSplit = sum(splitClusAss[:,1])
sseNotSplit =
sum(clusterAssment[nonzero(clusterAssment[;,0] ,A！=i）【0】，l])
print "sseSplit, and notSplit: ",sseSplit,sseNotSplit
if (sseSplit + sseNotSplit) < lowestSSE:
bestCentToSplit = i
bestNewCents = centroidMat
bestClustAss = splitClustAss.copy()
lowestSSE = sseSplit + sseNotSplit
bestClustAss[nonzero(bestClustAss[:,0].A == 1)[0],0] =
len(centList)
bestClustAss[nonzero(bestClustAss[:,0].A == 0)[0],0] =
bestCentToSplit
print 'the bestCentToSplit is : ',bestCentToSplit
print 'the len of bestClustAss is: ', len(bestClustAss)
centList[bestCentToSplit] = beatNewCwnts[0,:]
centList.append(bestNewCents[1,:])
clusterAssment[nonzero(clusterAssment[:,0] .A == \ bestCentToSplit)[0],:]= bestClustAss
return amt(cenList), clusterAssment