K-means 聚类算法

 

K 均值聚类是一种流行的无监督机器学习算法，用于将数据集划分为 K 个不同的、不重叠的子集（聚类）。以下是有关 K 均值聚类的要点摘要：

1. 目的：

   • 最小化集群内差异：K-means 旨在最小化数据点与其各自的聚类质心之间的平方距离之和。它通过迭代地将数据点分配给聚类并更新聚类质心来实现此目的。

2. 算法步骤：

   • 初始化：随机选择 K 个数据点作为初始聚类质心。
   • 分配步骤：将每个数据点分配给最近的质心，形成 K 个聚类。
   • 更新步骤：重新计算质心作为每个聚类中数据点的平均值。
   • 迭 代：重复赋值和更新步骤，直到收敛（当质心不再发生重大变化时）。

3. 簇数 （K）：

   • K 的选择至关重要，通常需要领域知识或其他技术（例如，弯头法或轮廓分析）来确定最佳值。

4. 对初始质心的敏感性：

   • K-means 对初始质心选择敏感。不同的初始化可能会导致不同的最终集群。

5. 缩放：

   • 特征缩放非常重要，因为 K 均值是基于距离的。StandardScaler 通常用于标准化功能。

6. 应用：

   • K-means广泛应用于各个领域，包括图像分割、客户分割、异常检测和文档聚类。

7. 局限性：

   • 对异常值的敏感度：K-means 对异常值很敏感，因为它们会显著影响聚类分配。
   • 假设是球形聚类：当聚类是球形、大小相等且密度相似时，K-means 效果很好，但对于大小不均匀或非球形聚类时，它可能难以处理。
   • 固定的簇数：该算法需要预先指定的簇数 （K）。

8. 评估指标：

   • 内部评估指标（例如，集群内的平方和）和外部指标（例如，调整后的兰德指数）可用于评估聚类结果的质量。

import pandas as pd
import os
os.environ['LOKY_MAX_CPU_COUNT'] = '4'  # Set to the number of cores you want to use
import os
os.environ['OMP_NUM_THREADS'] = '1'

beer = pd.read_csv('data.txt', sep=' ')
print(beer)

X=beer[['calories','sodium','alcohol','cost']]

# K-means 聚类
from sklearn.cluster import KMeans

km = KMeans(n_clusters=3, n_init=10).fit(X)
km2 = KMeans(n_clusters=2, n_init=10).fit(X)


beer['cluster'] = km.labels_
beer['cluster2'] = km2.labels_
print(beer.sort_values('cluster'))

from pandas.plotting import scatter_matrix
cluster_centers=km.cluster_centers_
cluster_centers_2=km2.cluster_centers_

print(beer.groupby('cluster').mean())
print(beer.groupby('cluster2').mean())

centers=beer.groupby('cluster').mean().reset_index()

import matplotlib.pyplot as plt
plt.rcParams['font.size']=14

import numpy as np
colors = np.array(['red', 'green', 'blue', 'yellow'])

plt.scatter(beer["calories"], beer["alcohol"],c=colors[beer["cluster"]])

plt.scatter(centers.calories, centers.alcohol, linewidths=3, marker='+', s=300, c='black')

plt.xlabel("Calories")
plt.ylabel("Alcohol")

plt.show()

scatter_matrix(beer[['calories','sodium','alcohol','cost']],s=100,alpha=1,c=colors[beer['cluster']],figsize=(10,10))
plt.suptitle('With 3 centroids initialized')

plt.show()

scatter_matrix(beer[["calories","sodium","alcohol","cost"]],s=100, alpha=1, c=colors[beer["cluster2"]], figsize=(10,10))
plt.suptitle("With 2 centroids initialized")
plt.show()

# 缩放数据
from  sklearn.preprocessing import StandardScaler
scaler=StandardScaler()
X_scaled=scaler.fit_transform(X)
# 此线使用缩放器的方法缩放“X”中的要素。该方法计算“X”的平均值和标准差，然后对其进行标准化。
print(X_scaled)

km = KMeans(n_clusters=3,n_init=10).fit(X_scaled)
# 此行创建一个包含 3 个聚类的 KMeans 聚类对象，并对缩放的要素“X_scaled”执行 k 均值聚类。
# 该参数表示使用不同的质心种子运行 k 均值算法的次数。

beer["scaled_cluster"] = km.labels_
# 将新列“scaled_cluster”添加到“beer”DataFrame，并分配从 k 均值聚类中获得的聚类标签。
beer.sort_values("scaled_cluster")
# 按“scaled_cluster”列对“beer”DataFrame 进行排序。
# 如前所述，请注意，此操作不会修改原始 DataFrame，除非重新分配或使用
beer.groupby("scaled_cluster").mean()

from pandas.plotting import scatter_matrix

scatter_matrix(X, c=colors[beer.scaled_cluster], alpha=1, figsize=(10,10), s=100)
# 此线为“X”中的原始要素创建散点图矩阵，其中点根据缩放的聚类标注 （'colors[beer.scaled_cluster]'） 进行着色。
# 'alpha'、'figsize' 和 's' 参数分别控制透明度、图形大小和标记大小。
plt.show()

# 聚类评估 ： 轮廓系数
from sklearn import metrics
score_scaled=metrics.silhouette_score(X,beer.scaled_cluster)
# 这将计算存储在“beer”DataFrame 的“scaled_cluster”列中的聚类结果的轮廓分数。
# 轮廓分数的范围从 -1 到 1，其中高值表示对象与其自己的聚类匹配良好，而与相邻聚类的匹配度较差。
score=metrics.silhouette_score(X,beer.cluster)
# 同样，这将计算存储在“beer”数据帧的“cluster”列中的聚类结果的轮廓分数。
print(score_scaled,score)
#这将打印两个聚类结果的计算轮廓分数。

scores = []
for k in range(2,20):
    labels = KMeans(n_clusters=k,n_init=10).fit(X).labels_
    score = metrics.silhouette_score(X, labels)
    scores.append(score)

print(scores)

plt.plot(list(range(2,20)),scores)
plt.xlabel('Number of Clusters Initialized')
plt.ylabel('Sihouette Score')

plt.show()

# DBSCAN 群集
from sklearn.cluster import DBSCAN
db=DBSCAN(eps=10,min_samples=2).fit(X)
# 此行创建具有指定参数的 DBSCAN 对象（用于在邻域中考虑的两个样本之间的最大距离，
#   以及形成密集区域所需的最小样本数）。然后，它将 DBSCAN 模型拟合到数据“X”。
labels=db.labels_
# 此行检索 DBSCAN 分配给每个数据点的群集标签。这些标签包括聚类分配以及噪声点（标记为 -1）。
beer['cluster_db']=labels
# 此行将新列“cluster_db”添加到“beer”数据帧中，并将聚类标签分配给每个相应的数据点。
beer.sort_values('cluster_db')
# 此行按“cluster_db”列对“beer”DataFrame 进行排序。但是，请注意，此操作不会修改原始 DataFrame。
# 如果要使用排序后的值更新“beer”，则需要将其分配回去或使用参数。
beer.groupby('cluster_db').mean()
# 此行使用 pandas 中的方法计算每个聚类的每个要素的平均值。
from pandas.plotting import scatter_matrix
scatter_matrix(X, c=colors[beer.cluster_db], alpha=1, figsize=(10, 10), s=100)
# 此线为“X”中的要素创建散点图矩阵，其中点根据聚类标签（“colors[beer.cluster_db]”）进行着色。
# 'alpha'、'figsize' 和 's' 参数分别控制透明度、图形大小和标记大小。
plt.show()