聚类，K-均值算法

cluster（聚类）

聚类是将数据集中的样本划分为若干个不相交的子集，，每个子集称为一个"簇"，通过这样的划分可能对应于一些潜在的类别。，聚类即能作为一个单独过程，用于寻找数据内在的分布结构，也可作为分类等学习任务的前驱过程。

聚类的过程通常会把一些具有相似特征或者潜在联系的样本划分为一个簇，那么应该怎样划分簇呢，k-means算法是一种常用的划分簇的方法。

k-means(k均值算法)

k均值算法常用于划分原型聚类。
假设有样本集 D = { x i , x 2 , . . . , x m } D=\{\bm{x_i,x_2,...,x_m}\} D={xi​,x2​,...,xm​}共m个样本。

1. 首先任意选取k个样本作为均值向量，{${\mathbf{\mu }}_1,{\mathbf{\mu }}_2,...,{\mathbf{\mu }}_{\mathbf{k}}$}即以它们作为簇划分的中心点。${\mathbf{\mu }}_i$表示第i个簇的样本中心点。每个均值向量对应一个集合$C_j，1<=j<=k$,初始化集合为空集。
2. 遍历集合D中的样本值，根据欧式距离或其他衡量距离的方法计算该样本到各个均值向量的距离。从中选择一个距离最小的均值向量，将其划入该均值向量对应的簇$C_j$。
3. 由步骤2，可将所有的样本划入不同的集合(簇)，然后更新集合的均值向量，即对每个集合内部的样本求均值，得到新的均值向量${\mathbf{\mu }}_j$。
4. 然后重复步骤2,得到新的划分集合，再重复步骤3,得到新的均值向量；
5. 直到均值向量不再改变，停止更新，得到最终的划分集合，即簇。
   具体过程如下：
   
   举例：
   西瓜数据集：
   
   
   k均值聚类中的类别k通常需要预先指定，在实际过程中 最优的k值是不知道的，可能需要尝试不同的k值聚类，检验各自得到聚类结果的质量，推测最优的k值，可以使用常用的聚类衡量指标DBI指数，DI指数等。

import numpy as np
import matplotlib.pyplot as plt
# 加载数据
def loadDataSet(fileName):
    data = np.loadtxt(fileName,delimiter='\t')
    return data
# 欧氏距离计算
def distEclud(x,y):
    return np.sqrt(np.sum((x-y)**2))  # 计算欧氏距离
# 为给定数据集构建一个包含K个随机质心的集合
def randCent(dataSet,k):
    m,n = dataSet.shape
    centroids = np.zeros((k,n))
    for i in range(k):
        index = int(np.random.uniform(0,m)) #
        centroids[i,:] = dataSet[index,:]
    return centroids 
# k均值聚类
def KMeans(dataSet,k): 
    m = np.shape(dataSet)[0]  #行的数目
    # 第一列存样本属于哪一簇
    # 第二列存样本的到簇的中心点的误差
    clusterAssment = np.mat(np.zeros((m,2)))
    clusterChange = True
    # 第1步 初始化centroids
    centroids = randCent(dataSet,k)
    while clusterChange:
        clusterChange = False
        # 遍历所有的样本（行数）
        for i in range(m):
            minDist = 100000.0
            minIndex = -1
 
            # 遍历所有的质心
            #第2步 找出最近的质心
            for j in range(k):
                # 计算该样本到质心的欧式距离
                distance = distEclud(centroids[j,:],dataSet[i,:])
                if distance < minDist:
                    minDist = distance
                    minIndex = j
            # 第 3 步：更新每一行样本所属的簇
            if clusterAssment[i,0] != minIndex:
                clusterChange = True
                clusterAssment[i,:] = minIndex,minDist**2
        #第 4 步：更新质心
        for j in range(k):
            pointsInCluster = dataSet[np.nonzero(clusterAssment[:,0].A == j)[0]]  # 获取簇类所有的点
            centroids[j,:] = np.mean(pointsInCluster,axis=0)   # 对矩阵的行求均值 
    print("Congratulations,cluster complete!")
    return centroids,clusterAssment
 #可视化
def showCluster(dataSet,k,centroids,clusterAssment):
    m,n = dataSet.shape
    if n != 2:
        print("数据不是二维的")
        return 1
 
    mark = ['or', 'ob', 'og', 'ok', '^r', '+r', 'sr', 'dr', '<r', 'pr']
    if k > len(mark):
        print("k值太大了")
        return 1
 
    # 绘制所有的样本
    for i in range(m):
        markIndex = int(clusterAssment[i,0])
        plt.plot(dataSet[i,0],dataSet[i,1],mark[markIndex])
 
    mark = ['Dr', 'Db', 'Dg', 'Dk', '^b', '+b', 'sb', 'db', '<b', 'pb']
    # 绘制质心
    for i in range(k):
        plt.plot(centroids[i,0],centroids[i,1],mark[i])
 
    plt.show()
dataSet = loadDataSet("test.txt")
k = 4
centroids,clusterAssment = KMeans(dataSet,k)
 
showCluster(dataSet,k,centroids,clusterAssment)

层次聚类

层次聚类不需要事先决定分为几个簇，可以在层次构建完成后，在进行划分。类似于哈夫曼的建树过程,两两计算相似度。，然后将相似度大或者是距离较小的合并起来，试图在不同层次对数据集进行划分，从而得到树形的聚类结构，数据集的划分采用自底向上的聚类策略，然后采用自顶向下的分拆策略。

• 在层次聚类构建层次的过程，类似构建哈夫曼树的过程，哈夫曼树的构建过程是每一步找到集合内最小的两个数来进行合并，那么在聚类的过程中怎样衡量聚类的大小来进行合并呢？
• 在聚类中我们可以使用距离或者相似度来进行两个聚类簇的合并。
• 距离
  通常有三种方法来衡量两个聚类簇之间的关系：假设有两个簇$C_i,C_j$,$$\begin{array}{l}最小距离：d_{\min }\left(C_i,C_j\right)={\min }_{\mathbf{x}\in C_i,\mathbf{z}\in C_j}\mathrm{dist}(\mathbf{x},\mathbf{z})\\ 最大距离：d_{\max }\left(C_i,C_j\right)={\max }_{\mathbf{x}\in C_i,\mathbf{z}\in C_j}\mathrm{dist}(\mathbf{x},\mathbf{z})\\ 平均距离：d_{\mathrm{avg}}\left(C_i,C_j\right)=\frac{1}{|C_i||C_j|}{\sum }_{\mathbf{x}\in C_i}{\sum }_{\mathbf{z}\in C_j}\mathrm{dist}(\mathbf{x},\mathbf{z})\end{array}$$
  最小距离显然有簇之间的两个距离最小的样本决定，最大距离有簇之间两个距离最大的样本决定，平均距离有所有样本共同决定。使用这三种距离决定簇距离分别被称为单链接算法、全链接算法和均链接算法。
  用距离衡量簇之间的关系，我们每次遍历当前簇，选择当前簇之间距离最小的两个簇进行合并簇，对簇进行重新的编号。剩下的过程就类似于构建哈夫曼树的过程。注：初始时，每个样本被认为是一个簇。
• 层次构建完成后，如下图，在树状图的特定层次上进行分割，则可得到相应的簇划分结果。下图中的聚类的划分有三种方式，分别按照图中红、蓝、绿三条线对应的方式可以生成不同的簇划分结果。分割后相同分支下的样本组合成一个簇，如果按红线分割则可生成两个簇，如果按蓝线分割，则可分成三个簇。
  
  详细算法过程：