机器学习---聚类算法

最新推荐文章于 2024-06-25 12:59:18 发布
最新推荐文章于 2024-06-25 12:59:18 发布
阅读量221 收藏
点赞数
分类专栏： 机器学习 文章标签： 聚类 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41977984/article/details/120953025
版权

1. k-means算法

在这里插入图片描述

一个k-means例子

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

动态效果

在这里插入图片描述

python实现kmeans

数据：
在这里插入图片描述

import numpy as np
import matplotlib.pyplot as plt  

# 载入数据
data = np.genfromtxt("kmeans.txt", delimiter=" ")
plt.scatter(data[:,0],data[:,1])
plt.show()

# 计算两个样本之间的距离 
def euclDistance(vector1, vector2):  
    return np.sqrt(sum((vector2 - vector1)**2))


# 初始化质心，返回一个包含k个质心点的集合
def initCentroids(data, k):  
    numSamples, dim = data.shape  
    # k个质心，列数跟样本的列数一样
    centroids = np.zeros((k, dim)) # 一个k行，dim列的零矩阵 
    # 随机选出k个质心
    for i in range(k):  
        # 随机选取一个样本的索引，这里选到的k个质心点可能会重复，待修改
        index = int(np.random.uniform(0, numSamples))  
        # 作为初始化的质心
        centroids[i, :] = data[index, :]  
    return centroids  
  
    
# kmeans返回最终的质心以及每个样本所属簇与簇中心的距离
def kmeans(data, k):  
    numSamples = data.shape[0]   
    
    #样本的属性，第一列保存该样本属于哪个簇，第二列保存该样本跟它所属簇的误差
    clusterData = np.array(np.zeros((numSamples, 2)))  
    
    # 决定质心是否要改变的变量
    clusterChanged = True  
    # 初始化质心  
    centroids = initCentroids(data, k)  
    while clusterChanged:  
        clusterChanged = False  
        # 循环每一个样本 
        for i in range(numSamples):  
            # 最小距离
            minDist  = 100000.0  
            # 定义样本所属的簇，开始计算前统一为0号簇
            minIndex = 0  
            
            # 循环计算每一个质心与该样本的距离
            for j in range(k):  
                # 循环每一个质心和样本，计算距离
                distance = euclDistance(centroids[j, :], data[i, :])  
                # 如果计算的距离小于最小距离，则更新最小距离
                if distance < minDist:  
                    minDist  = distance 
                    # 更新当前样本i的最小距离
                    clusterData[i, 1] = minDist
                    # 更新当前样本i所属的簇
                    minIndex = j  
              
            # 如果样本的所属的簇发生了变化
            if clusterData[i, 0] != minIndex:  
                # 质心要重新计算
                clusterChanged = True
                # 更新样本的簇
                clusterData[i, 0] = minIndex
  
        # 更新质心
        for j in range(k):  
            # 获取第j个簇所有的样本所在的索引
            cluster_index = np.nonzero(clusterData[:, 0] == j)
            # 第j个簇所有的样本点
            pointsInCluster = data[cluster_index]  
            # 计算质心
            centroids[j, :] = np.mean(pointsInCluster, axis = 0) 
#             showCluster(data, k, centroids, clusterData)#显示迭代过程
    return centroids, clusterData  
  
    
# 显示结果 
def showCluster(data, k, centroids, clusterData):  
    numSamples, dim = data.shape  
    if dim != 2:  
        print("dimension of your data is not 2!")  
        return 1  
        
    # 用不同颜色形状来表示各个类别
    mark = ['or', 'ob', 'og', 'ok', '^r', '+r', 'sr', 'dr', '<r', 'pr']  
    if k > len(mark):  
        print("Your k is too large!")  
        return 1  
  
    # 画样本点  
    for i in range(numSamples):  
        markIndex = int(clusterData[i, 0])  # 画样本样式
        plt.plot(data[i, 0], data[i, 1], mark[markIndex])  
  
    # 用不同颜色形状来表示各个类别
    mark = ['*r', '*b', '*g', '*k', '^b', '+b', 'sb', 'db', '<b', 'pb']  
    # 画质心点 
    for i in range(k):  
        plt.plot(centroids[i, 0], centroids[i, 1], mark[i], markersize = 20)  
    plt.show()

#肘部法则，选择k
list_lost = []
for k in range(2,10):
    k_min_loss = 10000
    k_min_loss_centroids = np.array([])
    k_min_loss_clusterData = np.array([])
    for i in range(50):
        # centroids 簇的中心点 
        # cluster Data样本的属性，第一列保存该样本属于哪个簇，第二列保存该样本跟它所属簇的误差
        centroids, clusterData = kmeans(data, k)  
        loss = sum(clusterData[:,1])/data.shape[0]
        if loss < k_min_loss:
            k_min_loss = loss
            k_min_loss_centroids = centroids
            k_min_loss_clusterData = clusterData
    list_lost.append(k_min_loss)
plt.plot(range(2,10),list_lost)
plt.xlabel('k')
plt.ylabel('loss')
plt.show()


# 设置k值，可利用肘部法则来确定k的值
k = 4  

# 多次做kmeans选取最小的损失，减小掉入局部最小值的概率
min_loss = 10000
min_loss_centroids = np.array([])
min_loss_clusterData = np.array([])
for i in range(50):
    # centroids 簇的中心点 
    # clusterData样本的属性，第一列保存该样本属于哪个簇，第二列保存该样本跟它所属簇的误差
    centroids, clusterData = kmeans(data, k)  
    loss = sum(clusterData[:,1])/data.shape[0]
    if loss < min_loss:
        min_loss = loss
        min_loss_centroids = centroids
        min_loss_clusterData = clusterData
        
print('cluster complete!')      
centroids = min_loss_centroids
clusterData = min_loss_clusterData

# 显示结果
showCluster(data, k, centroids, clusterData)

# 预测，返回误差最小的索引
def predict(datas):
    return np.array([np.argmin(((np.tile(data,(k,1))-centroids)**2).sum(axis=1)) for data in datas])
    
# 分块
# 获取数据值所在的范围
x_min, x_max = data[:, 0].min() - 1, data[:, 0].max() + 1
y_min, y_max = data[:, 1].min() - 1, data[:, 1].max() + 1
# 生成网格矩阵
xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.02),np.arange(y_min, y_max, 0.02))
z = predict(np.c_[xx.ravel(), yy.ravel()])
z = z.reshape(xx.shape)
# 等高线图
plt.contourf(xx, yy, z)
# 显示结果
showCluster(data, k, centroids, clusterData)

结果：
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

sklearn实现kmeans算法

from sklearn.cluster import KMeans
import numpy as np
import matplotlib.pyplot as plt

# 载入数据
data = np.genfromtxt("kmeans.txt", delimiter=" ")
# 设置k值
k = 4  

# 训练模型
model = KMeans(n_clusters=k)
model.fit(data)

# 分类中心点坐标
centers = model.cluster_centers_
result = model.predict(data)

# 画出各个数据点，用不同颜色表示分类
mark = ['or', 'ob', 'og', 'oy']
for i,d in enumerate(data):
    plt.plot(d[0], d[1], mark[result[i]])

# 画出各个分类的中心点
mark = ['*r', '*b', '*g', '*y']
for i,center in enumerate(centers):
    plt.plot(center[0],center[1], mark[i], markersize=20)
    
plt.show()

# 获取数据值所在的范围
x_min, x_max = data[:, 0].min() - 1, data[:, 0].max() + 1
y_min, y_max = data[:, 1].min() - 1, data[:, 1].max() + 1
# 生成网格矩阵
xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.02),np.arange(y_min, y_max, 0.02))
z = model.predict(np.c_[xx.ravel(), yy.ravel()])
z = z.reshape(xx.shape)
# 等高线图
plt.contourf(xx, yy, z)
# 显示结果
# 画出各个数据点，用不同颜色表示分类
mark = ['or', 'ob', 'og', 'oy']
for i,d in enumerate(data):
    plt.plot(d[0], d[1], mark[result[i]])

# 画出各个分类的中心点
mark = ['*r', '*b', '*g', '*y']
for i,center in enumerate(centers):
    plt.plot(center[0],center[1], mark[i], markersize=20)
plt.show()

在这里插入图片描述
在这里插入图片描述

Mini Batch K-Means

在这里插入图片描述

from sklearn.cluster import MiniBatchKMeans
import numpy as np
import matplotlib.pyplot as plt

# 载入数据
data = np.genfromtxt("kmeans.txt", delimiter=" ")
# 设置k值
k = 4  

# 训练模型
model = MiniBatchKMeans(n_clusters=k)
model.fit(data)

# 分类中心点坐标
centers = model.cluster_centers_
result = model.predict(data)

# 画出各个数据点，用不同颜色表示分类
mark = ['or', 'ob', 'og', 'oy']
for i,d in enumerate(data):
    plt.plot(d[0], d[1], mark[result[i]])

# 画出各个分类的中心点
mark = ['*r', '*b', '*g', '*y']
for i,center in enumerate(centers):
    plt.plot(center[0],center[1], mark[i], markersize=20)
plt.show()

在这里插入图片描述

2.基于密度的方法：DBSCAN

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

sklearn实现DBSCAN

数据：
在这里插入图片描述

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets

x1, y1 = datasets.make_circles(n_samples=2000, factor=0.5, noise=0.05)
x2, y2 = datasets.make_blobs(n_samples=1000, centers=[[1.2,1.2]], cluster_std=[[.1]])
x = np.concatenate((x1, x2))
plt.scatter(x[:, 0], x[:, 1], marker='o')
plt.show()

y_pred = DBSCAN(eps = 0.2, min_samples=50).fit_predict(x) #fit_predict先fit再predict
plt.scatter(x[:, 0], x[:, 1], c=y_pred)
plt.show()

结果：
在这里插入图片描述

Leee_song
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
均值聚类散点图怎么画_聚类算法
weixin_39982568的博客
01-08 5764
1.聚类分析聚类分析指将物理或抽象对象的集合分组为由类似的对象组成的多个类的分析过程。它是一种重要的人类行为聚类源于很多领域，包括数学，计算机科学，统计学，生物学和经济学。在不同的应用领域，很多聚类技术都得到了发展，这些技术方法被用作描述数据，衡量不同数据源间的相似性，以及把数据源分类到不同的簇中2.聚类的意义首先将大规模的、纷繁复杂的数据归档为不同的类别，进而针对每一类数据，制定不同的管理、分析...
机器学习-聚类算法1
08-03
【机器学习-聚类算法1】的讨论主要集中在聚类算法中的K-Means及其改进方法。聚类是无监督学习的一种，目的是根据数据内在的特征来划分相似的数据集，即“物以类聚，人以群分”。在这个过程中，样本间的相似度是关键...
机器学习-聚类算法
BabyMuu的博客
05-08 402
手写笔记 KMeans 算法实现 """ @File : k_means @Author : BabyMuu @Time : 2022/4/16 21:54 """ import numpy as np class KMeans: def __init__(self, data, n_clusters, random_state=None): self.data = data self.n_clusters = n_clusters
【机器学习笔记8】K-mean聚类实现与应用
issey的博客
09-05 1715
K-mean算法的手动实现、sklearn应用，常用的距离度量、利用K-mean进行图片压缩。
吴恩达-机器学习-k-means聚类算法
StrawBerryTreea的博客
11-22 868
吴恩达-机器学习2022版 k-means聚类算法实现整理 1.核心函数四个： 1.find_closest_centroids ：寻找最近的质心 2.compute_centroids ：迭代重新计算质心 3.kMeans_init_centroids ：随机初始化质心 4.run_kMeans ：执行k-means算法 2.实例：使用k-means算法对图片像素进行压缩 255色压缩到1色 1.代码 2.运行结果
matplotlib.pyplot.plot()参数详解
热门推荐
ims的博客
04-03 29万+
https://matplotlib.org/api/pyplot_summary.html 在交互环境中查看帮助文档： import matplotlib.pyplot as plt help(plt.plot) 以下是对帮助文档重要部分的翻译： plot函数的一般的调用形式： #单条线： plot([x], y, [fmt], data=None, **kwargs) #多条线一...
机器学习----聚类算法
LI_dreamit的博客
09-07 7883
1、聚类算法介绍 1.1 聚类算法在现实中的应用 用户画像，广告推荐，搜索引擎的流量推荐，恶意流量识别 基于位置信息的商业推送，新闻聚类，筛选排序 图像分割，降维，识别；离群点检测；信用卡异常消费；发掘相同功能的基因片段 1.2 聚类算法的概念 聚类算法： 一种典型的无监督学习算法，主要用于将相似的样本自动归到一个类别中。 在聚类算法中根据样本之间的相似性，将样本划分到不同的类别中，对于不同的相似度计算方法，会得到不同的聚类结果，常用的相似度计算方法有欧式距离法。 1
人工智能-机器学习-聚类算法-FCM模糊聚类-Python算法实现
12-18
人工智能_机器学习_聚类算法_FCM模糊聚类_Python实现
机器学习-系统聚类手算
08-11
"机器学习-系统聚类手算" 本文旨在讲解机器学习中的一种常见方法：系统聚类手算。系统聚类手算是指对数据进行聚类分析，并对聚类结果进行解释和分析的过程。在本文中，我们将使用 R 语言和 SPSS 软件对污染物的聚类...
K-means聚类算法.pptx
01-05
K-means聚类PPT，讲课实用课件。共包括算法原理、算法流程、实例讲解、应用场景、算法总结、改进算法几个内容。
机器学习-聚类分析.pdf
03-16
聚类分析是机器学习中的一个重要分支，它是一种无监督学习技术，主要应用于处理未标记的数据集，通过对数据的分析和组织，将相似的数据归为一类，形成不同的类簇。聚类分析可以揭示数据的内在结构，帮助我们发现数据...
sklearn速度复习-聚类
cj1064789374的博客
03-11 450
#模型实现 from sklearn.cluster import KMeans import numpy as np import matplotlib.pyplot as plt # 载入数据 data = np.genfromtxt("kmeans.txt", delimiter=" ") # 设置k值 k = 4 # 训练模型 model = KMeans(n_clusters=k) ...
Origin做聚类分析并利用聚类插件绘制热力图
最新发布
m0_65963495的博客
06-25 290
在使用聚类APP进行聚类绘图前最好还是先归一化，此处在上一步已经归一化，这里不再展示。如图1-6所示，层次聚类分析的执行方法与K均值聚类相似，选中聚类列，接着点击“统计”—“多变量分析”—“系统聚类分析”—“上次使用的/打开对话框”step2、执行K均值聚类分析，如图1-3所示，选中聚类列，接着点击“统计”—“多变量分析”—“K-均值聚类分析”—“上次使用的/打开对话框”同样可以采用图2-3的另一APP进行环形聚类图的绘制。
机器学习周记（第四十四周：Robformer）2024.6.17~2024.6.23
DominaterWE的博客
06-23 1059
本周阅读了一篇利用改进 Transformer 进行长时间序列预测的论文。论文模型为 Robformer ，其主要强调了在长时间序列预测问题上模型的鲁棒性。Robformer 主要包括几个关键模块：Encoder、Decoder、鲁棒序列分解模块、季节性成分调整模块。Encoder 主要侧重于从历史信息中提取周期性依赖关系，以供解码器使用。Decoder 包含两部分：堆叠的自相关机制以获得季节性部分，以及堆叠的稳健趋势预测块用于趋势部分。
[机器学习算法]支持向量机
藓类少女的博客
06-20 828
支持向量机（SVM）是一种用于分类和回归分析的监督学习模型。SVM通过找到一个超平面来将数据点分开，从而实现分类。
机器学习人脸识别检测项目并且将人脸存储在数据库中实战
weixin_49816293的博客
06-18 506
【代码】机器学习人脸识别检测项目并且将人脸存储在数据库中实战。
Quantlab整合Alpha158因子集，为机器学习大类资产配置策略做准备（代码+数据）
weixin_38175458的博客
06-20 853
—这一点上符合逻辑，从机器学习的角度，每天的数据是一个样本，而样本进行minmax，相对大小没有发生改变，只是“归一化”到0-1之间，更符合特定分布。这本书确实写得一般，不同于传统传记，他的写作，更像是要与特斯拉融入一体，那种半梦半醒，活在自我构建的世界，那种感觉。之前聊过比较多“FIRE——财务自由，提前退休”的方式，也聊过“500，10%”的财务自由逻辑。但我们有可能“成为”爱迪生。——实用主义，解决问题，有美满的家庭，儿女成群，世人拥戴。我想，只是欲望不过度，不伤害其他人，一定的财富与名利是好的。
k-means聚类算法机器学习sklearn
06-07
sklearn是一个常用的Python机器学习库，其中包括了k-means算法的实现。 在使用sklearn进行k-means聚类时，需要指定聚类数k和聚类方法。其中，聚类方法可以是标准k-means、mini-batch k-means或者谱聚类等方法。在...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值