k近邻 注释

最新推荐文章于 2022-11-05 22:44:59 发布
最新推荐文章于 2022-11-05 22:44:59 发布
阅读量289 收藏
点赞数
文章标签： python 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zdryn/article/details/106804100
版权

编程实现k近邻分类器，利用西瓜数据集3.0α，给出其中编号为8的西瓜的预测结果。

代码全是《机器学习》上的，只是将其整合到了一起，能够运行手写体识别。
内容大部分进行了注释，可能有些注释不够精准或者不容理解，见谅！

代码：

from numpy import * #引入numpy用来构建数据类型
import operator #用来计算距离

dataMat=array([[0.697,0.460],[0.774,0.376], [0.634,0.264],
[0.608,0.318],[0.556,0.215],[0.403,0.237],
[0.481,0.149],[0.666,0.091],[0.243,0.267],
[0.245,0.057],[0.343,0.099],[0.639,0.161],
[0.657,0.198],[0.360,0.370],[0.593,0.042],
[0.719,0.103]]) #准备训练数据

def classify0(inX, dataSet, labels, k): #k临近距离计算，并且输出频率最大的数
dataSetSize = dataSet.shape[0] #统计数据的行数
diffMat = tile(inX, (dataSetSize,1)) - dataSet #计算被测数据与训练数据的差
sqDiffMat = diffMat2 #平方
sqDistances = sqDiffMat.sum(axis=1) #求和
distances = sqDistances0.5 #开方求距离
sortedDistIndicies = distances.argsort() #给距离排序，返回他们的索引
classCount={} #建立一个字典
for i in range(k): #遍历前k个数
voteIlabel = labels[sortedDistIndicies[i]] #返回第k索引的标签
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1 #统计该标签的个数
sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True) #将标签个数按照降序排序
return sortedClassCount[0][0]

if name==‘main’:
labels=[‘是’,‘是’,‘是’,‘是’,‘是’,‘是’,‘是’,‘否’,‘否’,‘否’,‘否’,‘否’,‘否’,‘否’,‘否’,‘否’,]
inX=[0.437 ,0.211]
k=int(input(“请输入k值：”))
ccc=classify0(inX,dataMat,labels,k) #调用函数
print(ccc) #输出标签结果

运行结果

在这里插入图片描述
k的取值范围1-16，都可以，建议1-6.

zdryn
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
编程实现之k近邻算法
wave2587的博客
09-11 940
kNN学习是一种常用的监督学习方法，原理可以说是相当简单了：给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个“邻居”的信息来进行预测，在分类任务中，一般采用“投票法”。 根据周志华老师在《机器学习》一书中给出的原理，用Python实现这一算法。 距离度量采用欧式距离，预测则采用“投票法”，具体代码如下所示： import numpy as np impor...
k近邻法原理及编程实现
comli_cn的博客
05-11 512
算法描述 给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类，就把该输入实例分为这个类。 三个基本要素 1.距离度量 两个实例之间的距离可以用LpL_pLp​范数来定义，其中p可以选择。LPL_PLP​范数的定义为： 这里面的xix_ixi​和xjx_jxj​代表两个实例，这两个实例都有n个分量。 比较常用的是p=2，此时称为欧氏距离，即： 例如xi=(1,2,3)x_i=(1,2,3)xi​=(1,2,3)，xj=(4,5,6)x_j=(4,5,
机器学习实战 K近邻算法（附数据集）
枫林晚的博客
06-24 4669
机器学习实战 K近邻算法 1.前言 k近邻是一种基本分类与回归方法。k近邻法的输入为实例的特征向量，对应于特征空间的点，输出为实例的类别，可以取多类。k近邻法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其K个最近邻的训练实例的类别，通过多数表决等方式进行预测。因此，k近邻不具有显示的学习过程（训练时间开销为0）。k值的选择，距离度量及分类决策规则是k近邻法的三个基本要素。...
3.20 k近邻/数据集举例 ——读《python机器学习基础教程》第二章
RainbowCoral的博客
03-23 603
样本数据集 forge数据集 包含26 个数据点和2 个特征（shape函数） #生成数据集 X, y = mglearn.datasets.make_forge() #数据集绘图 mglearn.discrete_scatter(X[:,0],X[:,1],y) plt.legend(["Class 0", "Class 1"],loc=4) plt.xlabel("First feat...
k近邻算法_K近邻算法（一）
weixin_39835965的博客
11-18 312
k-近邻算法是采用不同特征之间的距离方法进行分类。优点：精度高、对异常值不敏感、无数据输入假定缺点：计算复杂度高、空间复杂度高k-近邻算法的一般流程(1)收集数据集：可以使用任何方法(2)准备数据集：距离计算所需要的数值，最好是结构化的数据格式(3)分析数据：可以使用任何方法(4)训练数据集：此步骤不适用与k-近邻算法(5)测试算法：计算错误率(6)使用算法：首先需要输入样本数据和结构化...
K近邻分类代码
04-10
利用KNN对数据进行分类，压缩包中带有训练集和测试集，也可以生成数据直接测试分类，代码注释全面，可以直接运行。好用给好评。
C++描述 k近邻算法 kNN算法
07-23
《机器学习实战》第二章KNN算法，书中用Python编写，数据也是源于教材...我用C++编写、实现了一下，使其中的细节更为清晰，注释较为详细。在VS2012上编译通过。请认真阅读readme说明文件。可以自己建立数据集进行测试。
k近邻实战代码
11-05
KNN实战代码，利用KNN进行手写字体识别，内含有丰富的注释，以供看懂。
python 实现K近邻算法 分类预测模型
01-14
（五）实验五：K近邻算法 31 1.问题理解与分析 31 2.算法原理阐述[3] 31 3.算法设计思路[2] 32 4.实验流程分析 32 5.实验数据的选择、实验结果展示、优化与分析 33 6.代码结构注释、核心源代码简要分析 33 7.本次...
k-近邻算法的python实现
04-02
k-近邻算法的python实现,输入元素为列表，可以根据需要自己手工创建训练样本集，注释比较清晰
机器学习实战第三章KNN学习笔记1
Xiaoweidumpb
03-30 210
监督学习使用两种类型的目标变量 标称型：真假，动物分类集合{爬行类，鱼类} 数值型：0.100,4200,100.43 # -*- coding: UTF-8 -*- import numpy as np import operator def createDataSet(): #四组二维特征 group = np.array([[1,101],[5,89],[108,5],[115,8]]) #四组特征的标签 labels = ['爱情片','爱情片','
K-近邻算法详解-1
weixin_43595430的博客
01-29 387
K-近邻算法（k-neareast neighbor，kNN） ————（解决分类和回归问题的最基本算法之一） 核心思想：给定测试样本，基于某种距离度量找出训练集中与其最近的k个训练样本，然后基于这k个“邻居”信息进行测试集的预测。 下面分为3点和大家了解这个算法： 1.距离度量 如上述核心思想所述，我们需要找到测试集与其最近的k个数据之间的距离信息，然而距离的度量有很多种，下面给出几个常用的距离...
k-近邻算法详解
weixin_43485035的博客
10-16 3523
k-近邻算法 k-近邻算法采用测量不同特征值之间的距离方法进行分类 优点：精度高、对异常值不敏感、无数据输入假定。 缺点：计算复杂度高、空间复杂度高。 适用数据范围：数值型和标称型。 工作原理是：存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近
K近邻算法的基本原理和代码
qq_60197466的博客
11-05 3173
knn算法的核心思想是未标记样本的类别，由距离其最近的k个邻居投票来决定。
机器学习：1.K近邻算法
bangqin0414的博客
09-11 297
机器学习：1.K近邻算法 1.简单案例：预测男女，根据身高，体重，鞋码 import numpy as np import matplotlib import sklearn from skleran.neighbors import KNeighb...
机器学习-k近邻算法(kNN算法)及简单实现
m0_52053228的博客
10-26 1009
k-近邻（k-Nearest Neighbor，简称kNN）是一种常用的监督学习方法，其工作机制非常简单：给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个“邻居”的信息来进行预测，选择这k个样本中出现最多的类别标记作为预测结果。，其类型属于图书馆，而k-近邻算法不会，因为在它眼里，建筑类型只有食堂和教学楼，它会提取样本集中特征最相似数据(最邻近)的分类标签，得到的结果可能是食堂，也可能是教学楼，但绝不会是图书馆。开始，随着k的逐渐增大，k近邻算法的分类效果会逐渐提升；
K近邻算法(KNN)及案例（Python）
热门推荐
qq_42433311的博客
04-19 2万+
1 算法简介 K近邻算法（英文为K-Nearest Neighbor，因而又简称KNN算法）是非常经典的机器学习算法。 K近邻算法的原理非常简单：对于一个新样本，K近邻算法的目的就是在已有数据中寻找与它最相似的K个数据，或者说“离它最近”的K个数据，如果这K个数据大多数属于某个类别，则该样本也属于这个类别。 （K的含义）以下图为例，假设五角星代表爱情片，三角形代表科幻片。此时加入一个新样本正方形，需要判断其类别。当选择以离新样本最近的3个近邻点（K＝3）为判断依据时，这3个点由1个五角星和2个三角形
西瓜书《机器学习》课后答案——chapter10 _10.1 KNN算法
CodeTutor
10-26 5163
编程实现k邻近分类器，在西瓜数据集3.0α上比较其分类边界与决策树分类边界的异同。# -*-coding: gbk -*- """ @Author: Victoria @Date: 2017.10.26 9:00 """ import xlrd import numpy as np import matplotlib.pyplot as plt import operatorclass KNN():
KNN（K近邻）算法的简单入门
lht_okk的博客
04-18 8554
机器学习实战（第二章：k-近邻算法） 今天学习了第二章，在此就我理解做一下简单的总结，算是加深我的理解和用我自己的语言描述出这个算法吧。 基于向量空间的欧几里得距离的计算。 简单点来说就是 在一个具有大量样本集中，每一个实例都具有3个或以上的特征属性，其中有一个属性必然是分类属性，其余属性为数值型属性（即使是标称型属性，也可以通过 某些方法转变过来），每一个实例都是由属性特征
阐述K-近邻算法的核心思想，并用程序实现近邻法的快速算法，样本集划分可采用K均值聚类或其他聚类算法，搜索时采用分枝定界算法，给出代码（需有注释）、图或表（图或表需有相应的文字描述），并用文字描述搜索过程。
最新发布
05-15
K-近邻算法（K-Nearest Neighbor，KNN）是一种简单有效的分类和回归算法，其核心思想是在训练集中找到与测试样本最相似的K个样本，然后根据这K个样本的类别（或数值）进行分类（或回归）。KNN的主要优点是实现简单，对于非线性和复杂的数据集有很好的效果；缺点是需要大量时间和空间存储训练数据，并且测试时需要进行大量的计算。 下面是KNN的快速算法实现，其中样本集划分采用K均值聚类，搜索时采用分枝定界算法。代码使用Python实现，具体注释见代码： ```python import numpy as np from sklearn.cluster import KMeans class FastKNN: def __init__(self, k=5): """ 初始化KNN模型，设置近邻数K """ self.k = k def fit(self, X, y): """ 训练KNN模型，X为训练集数据，y为训练集标签 """ # 将数据和标签组合成一个矩阵 self.train_data = np.hstack([X, y.reshape(-1, 1)]) # 划分训练集，采用K均值聚类 kmeans = KMeans(n_clusters=self.k, random_state=0).fit(X) self.clusters = kmeans.cluster_centers_ # 计算每个样本所属的簇 self.cluster_labels = kmeans.predict(X) # 对每个簇的样本进行排序 self.sorted_clusters = [] for i in range(self.k): cluster_data = self.train_data[self.cluster_labels == i] sorted_cluster = cluster_data[np.argsort(cluster_data[:, -2])] self.sorted_clusters.append(sorted_cluster) def predict(self, X): """ 预测新样本的标签，X为测试集数据 """ y_pred = [] for x in X: # 初始化近邻列表 neighbors = [] for i in range(self.k): # 计算测试样本和簇中心的距离 dist = np.linalg.norm(x - self.clusters[i]) # 计算测试样本和簇中每个样本的距离 cluster_data = self.sorted_clusters[i][:, :-2] cluster_dist = np.linalg.norm(cluster_data - x, axis=1) # 将距离和标签组成一个元组，加入近邻列表 neighbors.extend(zip(cluster_dist, self.sorted_clusters[i][:, -1])) # 对近邻列表进行排序，并取前K个作为最终的近邻 neighbors = sorted(neighbors)[:self.k] # 统计最终K个近邻的标签 labels = [label for _, label in neighbors] y_pred.append(max(set(labels), key=labels.count)) return np.array(y_pred) ``` 接下来，我们用一个简单的二分类任务来测试KNN模型的性能。首先，我们生成一个随机的二分类数据集： ```python import numpy as np from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split # 生成随机的二分类数据集 X, y = make_classification(n_samples=1000, n_features=10, n_classes=2, random_state=0) # 将数据集划分为训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0) ``` 然后，我们使用KNN模型进行训练和预测，并计算模型的精度： ```python from sklearn.metrics import accuracy_score # 初始化KNN模型，设置K=5 knn = FastKNN(k=5) # 训练KNN模型 knn.fit(X_train, y_train) # 预测测试集数据 y_pred = knn.predict(X_test) # 计算模型精度 accuracy = accuracy_score(y_test, y_pred) print("模型精度：", accuracy) ``` 最终，我们得到了一个精度为0.96的KNN模型，说明该算法在这个简单的二分类任务中表现良好。 分枝定界算法是一种常用的搜索算法，其主要思想是在搜索过程中，根据已知信息对搜索空间进行剪枝，从而减少搜索的时间和空间复杂度。在KNN算法中，分枝定界算法可以用来加速近邻搜索过程。具体来说，我们可以将训练集样本按照某种方式进行排序，然后对于每个测试样本，只搜索距离其最近的一些训练样本，从而减少搜索的时间和空间复杂度。 下面是KNN模型中的近邻搜索过程，其中采用了分枝定界算法： ```python def predict(self, X): """ 预测新样本的标签，X为测试集数据 """ y_pred = [] for x in X: # 初始化近邻列表 neighbors = [] for i in range(self.k): # 计算测试样本和簇中心的距离 dist = np.linalg.norm(x - self.clusters[i]) # 如果距离大于当前最近邻的距离，则跳过该簇 if neighbors and dist > neighbors[-1][0]: continue # 计算测试样本和簇中每个样本的距离 cluster_data = self.sorted_clusters[i][:, :-2] cluster_dist = np.linalg.norm(cluster_data - x, axis=1) # 将距离和标签组成一个元组，加入近邻列表 for j, d in enumerate(cluster_dist): # 如果距离大于当前最近邻的距离，则跳过该样本 if neighbors and d > neighbors[-1][0]: continue neighbors.append((d, self.sorted_clusters[i][j, -1])) # 对近邻列表进行排序，并取前K个作为最终的近邻 neighbors = sorted(neighbors)[:self.k] # 统计最终K个近邻的标签 labels = [label for _, label in neighbors] y_pred.append(max(set(labels), key=labels.count)) return np.array(y_pred) ``` 在这个近邻搜索过程中，我们首先计算测试样本和每个簇中心的距离，并按照距离进行排序。然后，对于每个簇，我们只搜索距离测试样本最近的一些样本，从而避免搜索整个簇，从而减少搜索的时间和空间复杂度。 最终，我们得到了一个快速的KNN算法实现，可以在大规模数据集上进行高效的分类和回归任务。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值