K-means和DBSCAN

目录

一、K-means和DBSCAN之间的主要区别

二、DBSCAN聚类算法

2.1DBSCAN聚类算法实现点集数据的聚类

2.2DBSCAN聚类算法实现鸢尾花数据集的聚类

三、K-means聚类算法

3.1K-means聚类算法实现随机数据的聚类

3.2K-means聚类算法实现鸢尾花数据集的聚类

---

一、K-means和DBSCAN之间的主要区别

1.聚类原理：

        K-means：K-means是一种基于距离的聚类算法，它将数据点划分为K个簇，通过最小化数据点与所属簇的质心之间的平方距离来确定聚类结果。K-means假设聚类簇为凸形，并且簇的大小差异较小。

        DBSCAN：DBSCAN是一种基于密度的聚类算法，它通过确定数据点的密度来划分聚类。DBSCAN将高密度区域视为聚类，并能够识别出噪声点和孤立点。相比于K-means，DBSCAN对聚类簇的形状没有预设要求，可以发现任意形状的聚类簇。

2.聚类数量：

        K-means：K-means需要预先指定聚类的数量K。这是因为K-means是一个划分式聚类方法，需要事先确定聚类簇的数量，然后将数据点划分为K个簇。

        DBSCAN：DBSCAN不需要预先指定聚类的数量。它根据数据点的密度来决定聚类的形状和数量，可以自动发现不同大小和形状的聚类簇。

3.处理噪声和孤立点：

        K-means：K-means对噪声和孤立点敏感。它会将这些数据点分配到离它们最近的聚类簇中，即使这些数据点在实际中并不属于任何簇。

        DBSCAN：DBSCAN能够有效地处理噪声和孤立点。它将这些数据点标记为噪声或边界点，不归属于任何聚类簇。

4.参数选择：

        K-means：K-means需要事先指定聚类的数量K，这需要一定的先验知识或通过试验和评估来确定最佳的K值。

        DBSCAN：DBSCAN需要调整两个关键参数：领域半径(eps)和最小样本数(min_samples)。这些参数的选择可以影响聚类结果，需要根据数据集的特点进行调优。

二、DBSCAN聚类算法

2.1DBSCAN聚类算法实现点集数据的聚类

代码：

from sklearn import datasets
import numpy as np
import random
import matplotlib.pyplot as plt
import time
import copy


def find_neighbor(j, x, eps):
    N = list()
    for i in range(x.shape[0]):
        temp = np.sqrt(np.sum(np.square(x[j] - x[i])))  # 计算欧式距离
        if temp <= eps:
            N.append(i)
    return set(N)


def DBSCAN(X, eps, min_Pts):
    k = -1
    neighbor_list = []  # 用来保存每个数据的邻域
    omega_list = []  # 核心对象集合
    gama = set([x for x in range(len(X))])  # 初始时将所有点标记为未访问
    cluster = [-1 for _ in range(len(X))]  # 聚类
    for i in range(len(X)):
        neighbor_list.append(find_neighbor(i, X, eps))
        if len(neighbor_list[-1]) >= min_Pts:
            omega_list.append(i)  # 将样本加入核心对象集合
    omega_list = set(omega_list)  # 转化为集合便于操作
    while len(omega_list) > 0:
        gama_old = copy.deepcopy(gama)
        j = random.choice(list(omega_list))  # 随机选取一个核心对象
        k = k + 1
        Q = list()
        Q.append(j)
        gama.remove(j)
        while len(Q) > 0:
            q = Q[0]
            Q.remove(q)
            if len(neighbor_list[q]) >= min_Pts:
                delta = neighbor_list[q] & gama
                deltalist = list(delta)
                for i in range(len(delta)):
                    Q.append(deltalist[i])
                    gama = gama - delta
        Ck = gama_old - gama
        Cklist = list(Ck)
        for i in range(len(Ck)):
            cluster[Cklist[i]] = k
        omega_list = omega_list - Ck
    return cluster


X1, y1 = datasets.make_circles(n_samples=2000, factor=.6, noise=.02)
X2, y2 = datasets.make_blobs(n_samples=400, n_features=2, centers=[[1.2, 1.2]], cluster_std=[[.1]], random_state=9)
X = np.concatenate((X1, X2))
eps = 0.08
min_Pts = 10
begin = time.time()
C = DBSCAN(X, eps, min_Pts)
end = time.time()
plt.figure()
plt.scatter(X[:, 0], X[:, 1], c=C)
plt.show()

结果：

2.2DBSCAN聚类算法实现鸢尾花数据集的聚类

代码：

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
from sklearn.cluster import DBSCAN
from sklearn.decomposition import PCA

# 加载鸢尾花数据集
iris = load_iris()
X = iris.data

# 使用PCA进行数据降维
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X)

# 使用DBSCAN进行聚类
dbscan = DBSCAN(eps=0.4, min_samples=3)
labels = dbscan.fit_predict(X_pca)

# 绘制聚类结果
plt.scatter(X_pca[:, 0], X_pca[:, 1], c=labels)
plt.xlabel('Principal Component 1')
plt.ylabel('Principal Component 2')
plt.title('DBSCAN Clustering on Iris Dataset')
plt.show()

结果：

三、K-means聚类算法

3.1K-means聚类算法实现随机数据的聚类

代码：

import torch
import math
import matplotlib.pyplot as plt


def dis(a, b):
    return math.sqrt((a[0] - b[0]) * (a[0] - b[0]) + (a[1] - b[1]) * (a[1] - b[1]))


X = torch.randn(2000) * 100
y = torch.randn(2000) * 100
C = torch.zeros(2000)

K = 5
CentPoint = []

for i in range(K):
    CentPoint.append([torch.randint(-100, 100, (1,)).item(),
                      torch.randint(-100, 100, (1,)).item()])

print(CentPoint)
for p in range(10):
    NewPoint = [[0, 0] for i in range(K)]
    for i in range(len(X)):
        mDis = 1e9
        mC = 0
        for j in range(len(CentPoint)):
            cp = CentPoint[j]
            D = dis([X[i].item(), y[i].item()], cp)
            if mDis > D:
                mDis = D
                mC = j
        C[i] = mC
        NewPoint[mC][0] += X[i].item()
        NewPoint[mC][1] += y[i].item()

    for i in range(K):
        CentPoint[i][0] = NewPoint[i][0] / 2000
        CentPoint[i][1] = NewPoint[i][1] / 2000
    print(CentPoint)

cc = list(C)
for i in range(len(X)):
    if cc[i] == 0:
        plt.plot(X[i].item(), y[i].item(), 'r.')
    elif cc[i] == 1:
        plt.plot(X[i].item(), y[i].item(), 'g.')
    elif cc[i] == 2:
        plt.plot(X[i].item(), y[i].item(), 'b.')
    elif cc[i] == 3:
        plt.plot(X[i].item(), y[i].item(), color='pink', marker='.')
    elif cc[i] == 4:
        plt.plot(X[i].item(), y[i].item(), color='orange', marker='.')

for CP in CentPoint:
    plt.plot(CP[0], CP[1], color='black', marker='X')

plt.show()

3.2K-means聚类算法实现鸢尾花数据集的聚类

代码:

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
from sklearn.cluster import KMeans
from sklearn.decomposition import PCA

# 加载鸢尾花数据集
iris = load_iris()
X = iris.data

# 使用PCA进行数据降维
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X)

# 使用K-means进行聚类
kmeans = KMeans(n_clusters=3, random_state=0)
labels = kmeans.fit_predict(X_pca)

# 绘制聚类结果
plt.scatter(X_pca[:, 0], X_pca[:, 1], c=labels)
plt.scatter(kmeans.cluster_centers_[:, 0], kmeans.cluster_centers_[:, 1], marker='x', color='red', label='Centroids')
plt.xlabel('Principal Component 1')
plt.ylabel('Principal Component 2')
plt.title('K-means Clustering on Iris Dataset')
plt.legend()
plt.show()

结果：