机器学习--k均值聚类

机器学习–k均值聚类

如有错误或者疑问，欢迎交流，转载请注明出处

定义

k-means是比较简单而使用的无监督聚类算法，根据特征将样本自动分类成几个类别

• 算法描述
  1.随机选取K个样本作为类别中心
  2.repeat直到收敛或规定次数{
     对每个样例$i$寻找最近的聚类中心，将该中心作为他的类别
     $c^{(i)}:=j$ that minnmizes  $||x^{(i)}-\mu_j||^2$

     对于每一个类别，重新计算其聚类中心
     $\mu_j:=\frac{1}{|c_j|}\sum_{x\in c_j}x$
  }

代码块

talk is cheap, show me the code~

1.随机选取中心

def kmeans_init_centroids(X,k):
    '''
    INPUT: X: (m,n) ndarray m是样本数目，n是特征维度
           k: int 类别数目
    '''
    centroids = np.zeros((K, X.shape[1]))#初始化k个中心
    index = np.random.choice(X.shape[0],K,replace=False)#从m个样本中随机选取k个
    centroids = X[index]
    return centroids

2.每个样本划分到自己所属的类别

def find_closest_centroids(X, centroids):
    K = centroids.shape[0]
    m = X.shape[0]
    idx = np.zeros(m)#m个样本的类别index
    for i in range(m):
        distance = np.zeros(k)
        for j in range(k):
            distance[j] = np.sum((X[i] - centroids[j]) ** 2))
        idx[i] = np.argmin(distance)
    return idx

3.从新计算聚类中心

def compute_centroids(X, idx, k):
    #idx (m,) ndarray
    (m,n)=X.shape
    centroids = np.zeros((k,n))

    for i in range(K):
        index = (idx==i) #return array([True,...,False])
        subX = X[index] #选择该类别的样本
        centroids[i] = np.mean(subX,axis=0)
    return centroids

4.k-means
阉割版。。可以看看Andrew的机器学习课后作业

def kmeans(X, initial_centroids, max_iters):
    (m, n) = X.shape
    k = initial_centroids.shape[0]
    centroids = initial_centroids
    idx = np.zeros(m)
    for i in range(max_iters):
        idx = find_closest_centroids(X, centroids)
        centroids = compute_centroids(X, idx, K)
    return centroids, idx #返回聚类中心，和每个样例所属的类别index

Andrew课后图像展示

• 二维平面聚类中心移动图
  聚类中心由初始化位置移动到合适位置，形成3个类别
  
  

• 图像压缩实例
  将W*H*C的图像转换为(WH)*C的二维矩阵，C是3个通道，RGB，以颜色作为特征进行聚类，选择了16个聚类中心。
  这样一来，所有像素点可以划分到这16个类别，用聚类中心代表该类别中的其他像素点，从而减少图像内存大小，同时保留了关键信息，人眼还是可以看出大致轮廓，如下图