基于Python的机器学习系列（20）：Mini-Batch K均值聚类

简介

        K均值聚类（K-Means Clustering）是一种经典的无监督学习算法，但在处理大规模数据集时，计算成本较高。为了解决这一问题，Mini-Batch K均值聚类应运而生。Mini-Batch K均值聚类通过使用数据的子集（mini-batch）来更新簇中心，从而减少了计算量，加快了处理速度。

Mini-Batch K均值算法

        Mini-Batch K均值算法的基本步骤如下：

1. 初始化簇中心：从数据集中随机选择K个样本作为初始簇中心。
2. 批量更新：
   • 随机选择数据的一个小批量。
   • 对于该批量中的每个样本，分配其到最近的簇中心。
   • 根据分配结果更新簇中心的位置。
3. 停止条件：重复步骤2，直到达到最大迭代次数或簇中心变化小于设定的容忍度。

代码实现

        以下是Mini-Batch K均值聚类的Python实现：

from sklearn.metrics import pairwise_distances_argmin
from sklearn.datasets import make_blobs
from time import time
import numpy as np

class Mini_KMeans:
    def __init__(self, k, replacement=True, batch_size=100, max_iter=100):
        self.k = k
        self.replacement = replacement
        self.batch_size = batch_size
        self.max_iter = max_iter
    
    def fit(self, X):
        m, n = X.shape

        # 1. 随机选择k个簇中心
        rng = np.random.RandomState(99)
        i = rng.permutation(m)[:self.k]
        self.centers = X[i]

        # 2. 批量更新
        for ix in np.arange(self.max_iter):
            random = rng.randint(m)
            X_batch = X[random:random+self.batch_size]

            # 3. 根据最近的簇中心分配标签
            labels = pairwise_distances_argmin(X_batch, self.centers)

            # 4. 更新簇中心
            new_centers = []
            for i in range(self.k):
                new_centers.append(X_batch[labels == i].mean(axis=0))
            new_centers = np.array(new_centers)

            # 5. 停止条件
            if np.allclose(self.centers, new_centers, rtol=0.2):
                break
            else:
                self.centers = new_centers

        print(f"Done in {ix} iterations")

        # 计算总的簇内变异度
        total_with_variation_score = 0
        labels = pairwise_distances_argmin(X, self.centers)
        for i in range(self.k):
            cluster_mean = X[labels==i].mean(axis=0)
            total_with_variation_score += ((X[labels==i] - cluster_mean) ** 2).sum()
            
        print("Total within-cluster variation score: ", total_with_variation_score)

    def predict(self, X):
        return pairwise_distances_argmin(X, self.centers)

# 主代码
X, _ = make_blobs(n_samples=1500, centers=4, cluster_std=0.60, random_state=0)
for k in range(2, 7):
    print(f"===== k = {k}")
    start = time()
    model = Mini_KMeans(k=k, max_iter=100)
    model.fit(X)
    print(f"Elapsed time: {time() - start:.2f} seconds")

结语

        Mini-Batch K均值聚类与标准K均值聚类相比，在处理大规模数据时表现出色，虽然在准确性上略有差距，但在计算速度上却能显著提高。与之前介绍的监督学习模型（如决策树、随机森林）相比，Mini-Batch K均值属于无监督学习范畴，不依赖于标签信息，而是通过数据的内部结构来发现潜在的分组。因此，它在数据探索和特征学习等任务中具有重要作用。

如果你觉得这篇博文对你有帮助，请点赞、收藏、关注我，并且可以打赏支持我！

欢迎关注我的后续博文，我将分享更多关于人工智能、自然语言处理和计算机视觉的精彩内容。

谢谢大家的支持！