004、KMeans和DBSCAN的比较

KMeans 聚类

工作原理

1. 选择K个初始中心点（可以随机选择或使用其他方法）。
2. 迭代过程：
   • 分配每个数据点到最近的中心点：计算每个数据点到所有中心点的距离，将数据点分配到最近的中心点所属的簇。
   • 更新中心点：计算每个簇内所有数据点的均值，将该均值作为新的中心点。
3. 停止条件：当中心点不再变化或达到预设的最大迭代次数时停止迭代。

优缺点

• 优点：
  • 简单易理解，容易实现。
  • 计算速度快，适合大规模数据集。
• 缺点：
  • 需要预先指定簇的数量K。
  • 对初始值敏感，不同的初始值可能导致不同的结果。
  • 对噪声和离群点敏感。
  • 假设簇是球形的，且大小相似。

实例

实例1：二维数据点聚类

import numpy as np
from sklearn.cluster import KMeans
import matplotlib.pyplot as plt

# 生成样本数据
from sklearn.datasets import make_blobs
X, y = make_blobs(n_samples=300, centers=4, cluster_std=0.60, random_state=0)

# KMeans聚类
kmeans = KMeans(n_clusters=4)
kmeans.fit(X)
y_kmeans = kmeans.predict(X)

# 可视化
plt.scatter(X[:, 0], X[:, 1], c=y_kmeans, s=50, cmap='viridis')
centers = kmeans.cluster_centers_
plt.scatter(centers[:, 0], centers[:, 1], c='red', s=200, alpha=0.75)
plt.show()

实例2：客户分群

import pandas as pd
from sklearn.cluster import KMeans

# 假设有客户购买行为数据
data = {
    '客户ID': [1, 2, 3, 4, 5],
    '购买次数': [20, 10, 30, 25, 15],
    '平均购买金额': [200, 150, 300, 250, 100]
}
df = pd.DataFrame(data)
x = df[['购买次数', '平均购买金额']]

# KMeans聚类
kmeans = KMeans(n_clusters=3)
kmeans.fit(x)
df['Cluster'] = kmeans.labels_

print(df)

实例3：图像压缩

KMeans可以用于图像压缩，通过将图像的像素聚类到少数颜色中，减少颜色种类。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.cluster import KMeans
from skimage import io

# 读取图像
image = io.imread('https://example.com/image.jpg')
rows, cols, dims = image.shape

# 将图像数据转换为二维数组
image_flat = image.reshape(rows * cols, dims)

# 使用KMeans聚类压缩颜色
kmeans = KMeans(n_clusters=16)
kmeans.fit(image_flat)
compressed_image = kmeans.cluster_centers_[kmeans.labels_].reshape(rows, cols, dims)

# 显示原始图像和压缩后的图像
fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(16, 8))
ax1.imshow(image)
ax1.set_title('Original Image')
ax2.imshow(compressed_image.astype('uint8'))
ax2.set_title('Compressed Image')
plt.show()

DBSCAN 聚类

工作原理

1. 参数设置：设定两个参数，eps（邻域半径）和min_samples（核心点的最小邻域点数）。
2. 遍历数据点：
   • 如果一个点的邻域内至少有min_samples个点，则该点是核心点，扩展一个簇。
   • 如果点不是核心点但在一个核心点的邻域内，则属于该核心点的簇。
   • 如果点既不是核心点，也不在任何核心点的邻域内，则标记为噪声。
3. 迭代直到所有点都被访问。

优缺点

• 优点：
  • 不需要预先指定簇的数量。
  • 可以识别任意形状的簇。
  • 对噪声和离群点有较好的鲁棒性。
• 缺点：
  • 参数选择（eps和min_samples）较为困难。
  • 对高维数据效果较差。
  • 计算复杂度较高。

实例

实例1：二维数据点聚类

import numpy as np
from sklearn.cluster import DBSCAN
import matplotlib.pyplot as plt

# 生成样本数据
from sklearn.datasets import make_moons
X, y = make_moons(n_samples=300, noise=0.1)

# DBSCAN聚类
dbscan = DBSCAN(eps=0.2, min_samples=5)
dbscan.fit(X)
y_dbscan = dbscan.labels_

# 可视化
plt.scatter(X[:, 0], X[:, 1], c=y_dbscan, s=50, cmap='viridis')
plt.show()

实例2：地理数据聚类

import pandas as pd
from sklearn.cluster import DBSCAN

# 假设有地理位置数据
data = {
    '位置ID': [1, 2, 3, 4, 5],
    '经度': [100.0, 100.1, 100.2, 100.3, 100.4],
    '纬度': [30.0, 30.1, 30.2, 30.3, 30.4]
}
df = pd.DataFrame(data)
x = df[['经度', '纬度']]

# DBSCAN聚类
dbscan = DBSCAN(eps=0.15, min_samples=2)
dbscan.fit(x)
df['Cluster'] = dbscan.labels_

print(df)

实例3：文本数据聚类

DBSCAN也可以用于文本数据的聚类，通过将文本向量化后进行聚类。

import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.cluster import DBSCAN

# 假设有一些文本数据
documents = [
    "This is the first document.",
    "This document is the second document.",
    "And this is the third one.",
    "Is this the first document?",
    "The quick brown fox jumps over the lazy dog.",
    "The dog barked at the moon."
]

# 文本向量化
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(documents)

# DBSCAN聚类
dbscan = DBSCAN(eps=0.5, min_samples=2)
dbscan.fit(X)
labels = dbscan.labels_

# 将聚类结果输出
df = pd.DataFrame({'Document': documents, 'Cluster': labels})
print(df)

KMeans vs DBSCAN

簇形状

• KMeans：假设簇是球形的，且大小相似。
• DBSCAN：可以识别任意形状的簇。

簇数量

• KMeans：需要预先指定簇的数量。
• DBSCAN：自动确定簇的数量。

对噪声的处理

• KMeans：对噪声和离群点敏感。
• DBSCAN：对噪声和离群点有较好的鲁棒性。

计算效率

• KMeans：通常比DBSCAN快，适合大规模数据集。
• DBSCAN：计算复杂度较高，尤其在高维数据上表现较差。

实际应用场景总结

• 客户分群：

  • KMeans：适用于将客户分成明确数量的群体，适合电商、零售等行业的客户行为分析。
  • DBSCAN：适用于发现不规则的客户群体，适合社交网络用户分析。

• 地理数据聚类：

  • KMeans：适用于地理位置数据的简单聚类，如分区域的地理数据分析。
  • DBSCAN：适用于识别地理数据中的聚集点和噪声，如城市中的人群热点区域识别。

• 文本数据聚类：

  • KMeans：适用于将文本数据分成预先确定的主题群体，适合新闻分类等应用。
  • DBSCAN：适用于发现文本数据中的不规则主题群体，适合社交媒体内容分析。

• 图像处理：

  • KMeans：适用于图像压缩，通过减少颜色种类实现图像压缩。

• DBSCAN：不常用于图像处理，但可以用于图像中目标的密度聚类。