聚类分析 Kmeans算法 KNN模型 Meanshift算法

最新推荐文章于 2024-05-10 22:41:31 发布
最新推荐文章于 2024-05-10 22:41:31 发布
阅读量706 收藏 3
点赞数 1
分类专栏： 机器学习 python 文章标签： python 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43924621/article/details/107550324
版权

Kmeans 算法

#加载数据并预览
import pandas as pd
import numpy as np
data = pd.read_csv('data.csv')
data.head()

在这里插入图片描述

#定义X和y
X = data.drop(['labels'],axis=1)
y = data.loc[:,'labels']
y.head()#预览
#查看类别
pd.value_counts(y)

在这里插入图片描述

#画图 无标签的
%matplotlib inline
from matplotlib import pyplot as plt
fig1 = plt.figure()
plt.scatter(X.loc[:,'V1'],X.loc[:,'V2'])
plt.title("un-labled data")
plt.xlabel('V1')
plt.ylabel('V2')
plt.show()

在这里插入图片描述

#画图 有标签的 
fig2 = plt.figure()
label0 = plt.scatter(X.loc[:,'V1'][y==0],X.loc[:,'V2'][y==0])
label1 = plt.scatter(X.loc[:,'V1'][y==1],X.loc[:,'V2'][y==1])
label2 = plt.scatter(X.loc[:,'V1'][y==2],X.loc[:,'V2'][y==2])

plt.title("labled data")
plt.xlabel('V1')
plt.ylabel('V2')
plt.legend((label0,label1,label2),('label0','label1','label2'))
plt.show()

在这里插入图片描述

print(X.shape,y.shape)

在这里插入图片描述

#建立模型
from sklearn.cluster import KMeans
KM = KMeans(n_clusters=3,random_state=0)#指定归为3类,确保初始化一致
KM.fit(X)
#得到中心点的坐标
centers = KM.cluster_centers_

#画出中心点
fig3 = plt.figure()
label0 = plt.scatter(X.loc[:,'V1'][y==0],X.loc[:,'V2'][y==0])
label1 = plt.scatter(X.loc[:,'V1'][y==1],X.loc[:,'V2'][y==1])
label2 = plt.scatter(X.loc[:,'V1'][y==2],X.loc[:,'V2'][y==2])

plt.title("labled data")
plt.xlabel('V1')
plt.ylabel('V2')
plt.legend((label0,label1,label2),('label0','label1','label2'))

plt.scatter(centers[:,0],centers[:,1])
plt.show()

在这里插入图片描述

#预测
#V1 = 80 ,V2 = 60
y_predict_test = KM.predict([[80,60]])
print(y_predict_test)
#训练结果 准确率
y_predict = KM.predict(X)
print(pd.value_counts(y_predict),pd.value_counts(y))#预测结果的分类数据

from sklearn.metrics import accuracy_score
accuracy = accuracy_score(y,y_predict)
print(accuracy)
# 分类与原本的相反 所以准确率很低

在这里插入图片描述

#画出预测结果检查
fig4 = plt.figure()
label0 = plt.scatter(X.loc[:,'V1'][y_predict==0],X.loc[:,'V2'][y_predict==0])
label1 = plt.scatter(X.loc[:,'V1'][y_predict==1],X.loc[:,'V2'][y_predict==1])
label2 = plt.scatter(X.loc[:,'V1'][y_predict==2],X.loc[:,'V2'][y_predict==2])

plt.title("predict data")
plt.xlabel('V1')
plt.ylabel('V2')
plt.legend((label0,label1,label2),('label0','label1','label2'))
plt.scatter(centers[:,0],centers[:,1])

fig5 = plt.figure()
label0 = plt.scatter(X.loc[:,'V1'][y==0],X.loc[:,'V2'][y==0])
label1 = plt.scatter(X.loc[:,'V1'][y==1],X.loc[:,'V2'][y==1])
label2 = plt.scatter(X.loc[:,'V1'][y==2],X.loc[:,'V2'][y==2])
plt.title("labled data")
plt.xlabel('V1')
plt.ylabel('V2')
plt.legend((label0,label1,label2),('label0','label1','label2'))
plt.scatter(centers[:,0],centers[:,1])

plt.show()
#蓝色和绿色互换位置了(因为是无监督式学习,没有预先设置标签,需要矫正)

在这里插入图片描述

#矫正 把label对应回y的
y_corrected = []
for i in y_predict:
    if i==0:
        y_corrected.append(2)
    elif i==1:
        y_corrected.append(1)
    else:
        y_corrected.append(0)
print(pd.value_counts(y_corrected))

#再看看矫正后的准确率
print(accuracy_score(y,y_corrected))

#列表转换
y_corrected = np.array(y_corrected)

在这里插入图片描述

#画出修正后的
fig6 = plt.figure()
label0 = plt.scatter(X.loc[:,'V1'][y_corrected==0],X.loc[:,'V2'][y_corrected==0])
label1 = plt.scatter(X.loc[:,'V1'][y_corrected==1],X.loc[:,'V2'][y_corrected==1])
label2 = plt.scatter(X.loc[:,'V1'][y_corrected==2],X.loc[:,'V2'][y_corrected==2])

plt.title("corected data")
plt.xlabel('V1')
plt.ylabel('V2')
plt.legend((label0,label1,label2),('label0','label1','label2'))
plt.scatter(centers[:,0],centers[:,1])

fig7 = plt.figure()
label0 = plt.scatter(X.loc[:,'V1'][y==0],X.loc[:,'V2'][y==0])
label1 = plt.scatter(X.loc[:,'V1'][y==1],X.loc[:,'V2'][y==1])
label2 = plt.scatter(X.loc[:,'V1'][y==2],X.loc[:,'V2'][y==2])
plt.title("labled data")
plt.xlabel('V1')
plt.ylabel('V2')
plt.legend((label0,label1,label2),('label0','label1','label2'))
plt.scatter(centers[:,0],centers[:,1])

plt.show()

在这里插入图片描述

KNN 模型

#预测
from sklearn.neighbors import KNeighborsClassifier
KNN = KNeighborsClassifier(n_neighbors=3)
KNN.fit(X,y)
#预测
#V1 = 80 ,V2 = 60
y_predict_knn_test = KNN.predict([[80,60]])
print(y_predict_knn_test)
y_predict_knn = KNN.predict(X)
print('knn accuracy',accuracy_score(y,y_predict_knn))
#结果是1 全部正确...
print(pd.value_counts(y),pd.value_counts(y_predict_knn))
#数量一致

在这里插入图片描述

#画出KNN的
fig8 = plt.figure()
label0 = plt.scatter(X.loc[:,'V1'][y_predict_knn==0],X.loc[:,'V2'][y_predict_knn==0])
label1 = plt.scatter(X.loc[:,'V1'][y_predict_knn==1],X.loc[:,'V2'][y_predict_knn==1])
label2 = plt.scatter(X.loc[:,'V1'][y_predict_knn==2],X.loc[:,'V2'][y_predict_knn==2])

plt.title("KNN data")
plt.xlabel('V1')
plt.ylabel('V2')
plt.legend((label0,label1,label2),('label0','label1','label2'))
plt.scatter(centers[:,0],centers[:,1])

fig9 = plt.figure()
label0 = plt.scatter(X.loc[:,'V1'][y==0],X.loc[:,'V2'][y==0])
label1 = plt.scatter(X.loc[:,'V1'][y==1],X.loc[:,'V2'][y==1])
label2 = plt.scatter(X.loc[:,'V1'][y==2],X.loc[:,'V2'][y==2])
plt.title("labled data")
plt.xlabel('V1')
plt.ylabel('V2')
plt.legend((label0,label1,label2),('label0','label1','label2'))
plt.scatter(centers[:,0],centers[:,1])

plt.show()

在这里插入图片描述

Meanshift算法

from sklearn.cluster import MeanShift,estimate_bandwidth
#设定区域
bw = estimate_bandwidth(X,n_samples=500)
print(bw)
#训练
ms = MeanShift(bandwidth=bw)
ms.fit(X)
#预测  结果
y_predict_ms = ms.predict(X)
print(pd.value_counts(y_predict_ms),
      pd.value_counts(y)
      )
#没有给出类数目 自动分出了3类

在这里插入图片描述

#如果数据不对原本的标签 需要对结果修正
y_corrected_ms = []
for i in y_predict_ms:
    if i==0:
        y_corrected_ms.append(2)
    elif i==1:
        y_corrected_ms.append(1)
    else:
        y_corrected_ms.append(0)
print(pd.value_counts(y_corrected_ms),
      pd.value_counts(y))

#再看看矫正后的准确率
print(accuracy_score(y,y_corrected_ms))

在这里插入图片描述

#列表转换
y_corrected_ms = np.array(y_corrected_ms)

#可视化
fig10 = plt.figure()
label0 = plt.scatter(X.loc[:,'V1'][y_corrected_ms==0],X.loc[:,'V2'][y_corrected_ms==0])
label1 = plt.scatter(X.loc[:,'V1'][y_corrected_ms==1],X.loc[:,'V2'][y_corrected_ms==1])
label2 = plt.scatter(X.loc[:,'V1'][y_corrected_ms==2],X.loc[:,'V2'][y_corrected_ms==2])

plt.title("ms data")
plt.xlabel('V1')
plt.ylabel('V2')
plt.legend((label0,label1,label2),('label0','label1','label2'))
plt.scatter(centers[:,0],centers[:,1])

fig11 = plt.figure()
label0 = plt.scatter(X.loc[:,'V1'][y==0],X.loc[:,'V2'][y==0])
label1 = plt.scatter(X.loc[:,'V1'][y==1],X.loc[:,'V2'][y==1])
label2 = plt.scatter(X.loc[:,'V1'][y==2],X.loc[:,'V2'][y==2])
plt.title("labled data")
plt.xlabel('V1')
plt.ylabel('V2')
plt.legend((label0,label1,label2),('label0','label1','label2'))
plt.scatter(centers[:,0],centers[:,1])

plt.show()

在这里插入图片描述

nickdlk
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
聚类 之 MeanShift
SkullSky的博客
02-01 3892
上篇博客介绍了K-Means聚类，这次给大家推荐一个更厉害的聚类算法：Meanshift，均值漂移。 Meanshift 聚类原理简述 相比 K-Means 聚类，Meanshift 最大的优势是不需要人为指定分成几类。该算法会根据分布密度自动将数据归到适合的类中。 Meanshift 聚类算法的大致思想就是 “哪里人多哪里跑” ： 首先从未被标记的数据中随机选取一个点作为当前大佬（质心）； 以当前大佬为圆心，半径 RRR 画个圆，圆内的点记做集合 MMM，里面为该位大佬的小弟； 由于是随机选择的大佬，难
K Means算法实现聚类分析
Pla_han的博客
05-12 2147
K Means算法实现聚类分析 一、动态聚类算法介绍 动态聚类算法选择若干样品作为聚类中心，再按照某种聚类准则，如最小距离准则，将其余样品归入最近的中心，得到初始分类。然后判断初始分类是否合理，若不合理则按照特定规则重新修改不合理的分类，如此反复选代，直到分类合理。 二、K均值算法介绍 ​ K均值算法能够使聚类域中所有样品到聚类中心距离的平方和最小。其原理为：先取k个初始距离中心，计算每个样品到这k个中心的距离，找出最小距离把样品归人最近的聚类中心，修改中心点的值为本类所有样品的均值，再计算各个样品
KMeans，KNN，Mean-shift算法的学习
最新发布
weixin_57128596的博客
05-10 907
*1.概念：**给定一共训练数据集，对输入的新的数据实例A，在数据集上寻找和A实例最邻近的K各实例（K个邻居），然后这K个实例的多数属于某个类，那么这个A实例就属于该这个类中；1.计算均值偏移：M(x)=1/K*(当前中心点和其余数据的距离差之和) ——>2.中心点的更新：新的中心点=旧的中心点+M(x) 偏移量。因为新实例的数据的判别，和它的K个邻居关系很大，所以我们需要知道K个邻居的正确标签，因此KNN算法是一个监督式学习的算法；2.中心点的更新：新的中心点=旧的中心点+M(x)偏移量。
聚类算法：Mean Shift
weixin_41521681的博客
05-13 6989
目录 简介 meanshift算法理论 Mean Shift算法原理 算法步骤 算法实现 其他 聚类算法之Mean Shift Mean Shift算法理论 Mean Shift向量 核函数 引入核函数的Mean Shift向量 聚类动画演示 Mean Shift的代码实现 算法的Python实现 scikit-learnMeanShift演示 scikit-...
【机器学习】聚类算法中的 K-means 算法及其原理
m0_51816252的博客
08-02 5984
聚类（ clustering ）是一种典型的“无监督学习”，是把物理对象或抽象对象的集合分组为由彼此类似的对象组成的多个类的分析过程。K-means 算法是就是比较经典的聚类算法，使用较多，本文主要讲解了什么是K-means 算法，及其原理。......
Kmeans原理公式图文详解
热门推荐
麻花
03-23 2万+
在网上查看了些博客，感觉大家都对数学公式的解释的比较晦涩，下面我结合一个非常简单的示意图解释下他的数学公式，理解不到位的请留言。 kmeans是一种聚类算法下面是算法的描述 给定训练样本是每一个 ，即每一个样本元素都是n维向量。为了便于理解在后面的示意图中采用二维的向量。step1：    随机选取k个聚类质心点为step2：    重复下面过程直到手链       对于每一个样本i计算其应该属
KMeans算法
qq_42064159的博客
02-25 1506
KMeans算法 1.概述 K-means聚类算法也称k均值聚类算法，是集简单和经典于一身的基于距离的聚类算法。它采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。该算法认为类簇是由距离靠近的对象组成的，因此把得到紧凑且独立的簇作为最终目标。 2.核心思想 K-means聚类算法是一种迭代求解的聚类分析算法，其步骤是随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种...
聚类算法Kmeans与梯度算法Meanshift.docx
11-11
。。。
聚类算法Kmeans与梯度算法Meanshift (2).docx
11-13
。。。
聚类算法Kmeans与梯度算法Meanshift (2).pdf
11-12
。。。
聚类算法Kmeans与梯度算法Meanshift (3).docx
11-12
。。。
聚类算法Kmeans与梯度算法Meanshift (4).docx
11-11
。。。
MeanShift聚类算法
lming_08技术博客
04-13 8280
MeanShift算法是一个非参数聚类技术，它不要求预先知道聚类的类别个数，对聚类的形状也没有限制。 给定在d维空间上的n个数据点xi, i = 1, ..., n，由核函数K(x)和窗口半径h得到的多元核密度估计函数是： 对于径向对称核函数，它足以确定核函数的更新，核函数k(x)满足： 这里ck,d 是一个归一化的常量，它确保K(x)的积分为1。密度函数的模式位于梯
【机器学习】全面解析Kmeans聚类算法（Python）
fengdu78的博客
12-27 1万+
一、聚类简介Clustering (聚类)是常见的unsupervised learning (无监督学习)方法，简单地说就是把相似的数据样本分到一组（簇），聚类的过程，我们并不清楚某一类...
聚类算法之Mean Shift
想当咸鱼的猫
10-26 1187
Mean Shift聚类算法 1. 基本原理 对于Mean Shift算法，是一个迭代得步骤，即每次迭代的时候，都是找到圆里面点的平均位置作为新的圆心位置。说的简单一点，使得圆心一直往数据密集度最大的方向移动。 2. 基本的Mean Shift向量形式 对于给定的ddd维空间RdR^dRd中的nnn个样本点xi,i=1,2,...,nx_i, i=1,2,...,nxi​,i=1,2,...,n，对于空间中的任意点xxx的mean shift向量的基本形式可以表示为： Mh(x)=1k∑xi∈Sh(xi−
机器学习之简单入门分类算法:KMeans、KNN、Meanshift
weixin_44035709的博客
06-16 919
大家好呀，我是AI菌，今天和大家分享机器学习里面的简单入门分类算法：KMeans、KNN、Meanshift，话不多说我们进入正题！ KMeans k均值聚类算法（k-means clustering algorithm）是一种迭代求解的聚类分析算法，其步骤是，预将数据分为K组，则随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。每分配一个样本，聚类的聚类中心会根据聚类中现有的对象被重新计算。这
图解Mean-Shift聚类算法
zhf的博客
05-22 1525
前期回顾 K-Means聚类算法 — 算法原理、质心计算、距离度量、聚类效果评价及优缺点    与K-Means算法不一样的是，Mean Shift 算法可以自动决定类别的数目。与K-Means算法一样的是，两者都用集合内数据点的均值进行中心点的移动。 声明 以下部分内容来源于：meanshift算法 Mean Shift算法原理    meanshift 算法其实通过名字就可以看到该算法的核心，mean(均值)，shift(偏移)，简单的说，也就是有一个点 xxx,它的周围有很多个点xix_i.
机器学习之K-means原理详解、公式推导、简单实例（python实现，sklearn调包）
如果没有躺赢的命，那就站起来奔跑，你的努力一定会对得起这一路的颠沛流离。
02-10 3940
主要内容分为理论推导和代码实现两个部分。 理论推导包括聚类介绍、常见距离介绍、KMeans算法模拟三块。 代码实现包括逻辑回归代码实现；python实现和sklearn包 2种方法完成Kmeans聚类任务。
聚类分析kmeans算法步骤
08-29
K-means算法是一种常用的聚类分析算法，它的步骤如下： 1. 初始化：随机选择k个初始质心（聚类中心）作为初始的簇中心点。 2. 分配数据点：对于每一个数据点，计算其与各个簇中心的距离，并将其分配给距离最近的簇...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

nickdlk

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值