K-邻近算法（Machine Learning in Action代码复现）

最新推荐文章于 2024-06-12 10:00:23 发布
最新推荐文章于 2024-06-12 10:00:23 发布
阅读量57 收藏
点赞数
文章标签： 算法 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lxiaowangtongxue/article/details/131150900
版权

K-邻近算法是一种分类算法其核心在于矩阵的运算。

概述：已知一部电影的打斗镜头、接吻镜头来判断电影类型

目前已有数据集包含打斗镜头数、接吻镜头数和其下属的电影类型，要根据该数据集判断新的已知打斗镜头数、接吻镜头数的电影是何种类型，我们可以使用KNN来解决该问题。

具体的思路：

计算未知电影与样本集中所有电影的距离，按从小到达排序，找前k个距离最近的电影，统计其电影类型，将从前k个样本中获得的电影类型按出现次数从大到小排序，出现次数最多的电影类型作为未知电影的类型预测。

图示：

 图1为样本集在图中的分布，不同颜色代表不同类型的数据。图二中红色的圆圈代表未知数据的位置。图三是k取3时选取的邻近的3个样本，我们据此可以推测未知数据属于蓝色类型。

代码复现

def classify(inX,dataSet,labels,k):
    dataSize=dataSet.shape[0]#获取行数
    dataDIff=tile(inX,(dataSize,1))-dataSet#tile是将inX平铺dataSize次
    sqDataDiff=dataDIff**2#平方
    sqDistance=np.sum(sqDataDiff,axis=1)#算到每一点的距离平方,必须要np才行
    distances=sqDistance**0.5#算到每一点的距离
    sortDisIndex=distances.argsort()#获取距离从小到达排序后其原本位置的数组
    classCount={}
    for i in range(k):
        className=labels[sortDisIndex[i]]#sortDisIndex[i]获得labels对映位置标签
        classCount[className]=classCount.get(className,0)+1#计数
    classSort=sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)#按照label出现次数大小排序
    return classSort[0][0]#返回出现次数最多的标签

这里我们采取的距离算法是欧式距离公式：d=\sqrt{(x1-x2)^{2}+(y1-y2)^{2}}。函数有四个输入参数：待分类向量为inX,训练集为dataSet,标签向量为labels,选取的邻近向量数目为k。

注意数据集的特征值储存在矩阵dataSet中，而类型储存在标签labels中，labels[i]对应矩阵第i行数据。

实例1：约会网站的配对效果

小美将约会对象分为三类：不喜欢的人、魅力一般的人、极有魅力的人。海伦希望在周一到周五约会魅力一般的人，在周末约会极具魅力的人（为什么能办到有那么多约会对象）。我们借助KNN帮她更好判断约会对象类型。目前我们已有的数据1000行，每个样本包含以下三个特征：

每年获得的飞行里程数

玩游戏所耗时百分比

每周消费的冰激凌公升数

目前数据的提供是txt形式，为了更好地处理数据我们需要将进行格式转换：

def file2matrix(filename):#将数据集从txt形式转化为矩阵形式和标签集
    file=open(filename)
    lines=file.readlines()#获取样本信息
    numberofLines=len(lines)#获取样本个数
    matrix=np.zeros((numberofLines,3))#创建预备矩阵存储样本特征信息
    labels=[]#存储分类信息
    index=0#表示当前正在处理的样本位置
    for line in lines:
        line=line.strip()#去除前后空格
        listFromLine=line.split('\t')#根据空格转化为数组
        col=len(listFromLine)
        matrix[index,:]=listFromLine[0:3]#将样本特征存储到矩阵中
        labels.append(int(listFromLine[-1]))#存储当前样本的类型
        index+=1
    return labels,matrix

转换完格式以后我们会发现，三者单位并不一致，因此像飞行公里数这样的数字较大的数据对分类结果的影响远大于另外两个特征值，但是对于小美来说这三个特征在她看来同等重要，因此我们需要对数据进行归一化处理，将其值均控制在0—1或-1—1内，归一化公式：newValue=(oldValue-min)/(max-min)

def autoNorm(dataSet):#归一化处理
    minVals=dataSet.min(0)#获取每一列的最小值
    maxVals=dataSet.max(0)#获取每一列的最大值
    ranges=maxVals-minVals
    row=dataSet.shape[0]
    normDataset=dataSet-tile(minVals,(row,1))
    normDataset=normDataset/tile(ranges,(row,1))
    return normDataset,ranges,minVals

我们现在已经有了分类器，但是需要进一步评估算法的准确率，因此我们选取10%的数据作为测试数据，剩下的90%为训练集。这10%的数据应该随机选择，因为此样本集并没有排序处理，所以我们可以直接选择前10%的数据作为测试集：

def classTest(dataLabels,dataMat):#原有数据中选择一部分数据作为测试
    hoRatio=0.1#取10%的数据
    normDataSet=autoNorm(dataMat)#归一化处理
    m=normDataSet.shape[0]#需要取的数据数目
    numOfTest=int(m*hoRatio)
    error=0
    for i in range(numOfTest):
        label=classify(normDataSet[i,:],normDataSet[numOfTest:m,:],dataLabels[numOfTest:m],7)
        print('the classifier came back with %d,the real answer is %d'%(label,dataLabels[i]))
        if label!=dataLabels[i]:error+=1
    print('the total error rate is:%f'%(error/numOfTest))

测试结果错误率为4.6%我们判定算法较为准确，可以进行实际运用：

def classifyPerson():
    result=['not at all','samll doses','large doses']
    percentTats=float(input('percentage of time spent playing video games?'))
    ffMiles=float(input('frequent fliter miles earned per year?'))
    iceCream=float(input('liters of ice cream consumed per year?'))
    datingLabels,datingMatrix=file2matrix('datingTestSet2.txt')
    normDataSet,range,mins=KNN.autoNorm(datingMatrix)
    arr=np.array([percentTats,ffMiles,iceCream])
    type=result[KNN.classify((arr-mins)/range,normDataSet,datingLabels,5)-1]#注意这里-1是因为返回的数据为1、2、3类型，但是要对应到result中，index从0开始，所以-1
    print('you will probably like this person:',type)

整体代码展示：

#KNN
import operator
import numpy as np
from numpy import tile

def classify(inX,dataSet,labels,k):
    dataSize=dataSet.shape[0]#获取行数
    dataDIff=tile(inX,(dataSize,1))-dataSet#tile是将inX平铺dataSize次
    sqDataDiff=dataDIff**2#平方
    sqDistance=np.sum(sqDataDiff,axis=1)#算到每一点的距离平方,必须要np才行
    distances=sqDistance**0.5#算到每一点的距离
    sortDisIndex=distances.argsort()#获取距离从小到达排序后其原本位置的数组
    classCount={}
    for i in range(k):
        className=labels[sortDisIndex[i]]#sortDisIndex[i]获得labels对映位置标签
        classCount[className]=classCount.get(className,0)+1#计数
    classSort=sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)#按照label出现次数大小排序
    return classSort[0][0]#返回出现次数最多的标签

def autoNorm(dataSet):#归一化处理
    minVals=dataSet.min(0)#获取每一列的最小值
    maxVals=dataSet.max(0)#获取每一列的最大值
    ranges=maxVals-minVals
    row=dataSet.shape[0]
    normDataset=dataSet-tile(minVals,(row,1))
    normDataset=normDataset/tile(ranges,(row,1))
    return normDataset,ranges,minVals

def classTest(dataLabels,dataMat):#原有数据中选择一部分数据作为测试
    hoRatio=0.1#取10%的数据
    normDataSet=autoNorm(dataMat)#归一化处理
    m=normDataSet.shape[0]#需要取的数据数目
    numOfTest=int(m*hoRatio)
    error=0
    for i in range(numOfTest):
        label=classify(normDataSet[i,:],normDataSet[numOfTest:m,:],dataLabels[numOfTest:m],7)
        print('the classifier came back with %d,the real answer is %d'%(label,dataLabels[i]))
        if label!=dataLabels[i]:error+=1
    print('the total error rate is:%f'%(error/numOfTest))

#DatingTest
import numpy as np

import KNN as KNN
def file2matrix(filename):#将数据集从txt形式转化为矩阵形式和标签集
    file=open(filename)
    lines=file.readlines()#获取样本信息
    numberofLines=len(lines)#获取样本个数
    matrix=np.zeros((numberofLines,3))#创建预备矩阵存储样本特征信息
    labels=[]#存储分类信息
    index=0#表示当前正在处理的样本位置
    for line in lines:
        line=line.strip()#去除前后空格
        listFromLine=line.split('\t')#根据空格转化为数组
        col=len(listFromLine)
        matrix[index,:]=listFromLine[0:3]#将样本特征存储到矩阵中
        labels.append(int(listFromLine[-1]))#存储当前样本的类型
        index+=1
    return labels,matrix

def classifyPerson():
    result=['not at all','samll doses','large doses']
    percentTats=float(input('percentage of time spent playing video games?'))
    ffMiles=float(input('frequent fliter miles earned per year?'))
    iceCream=float(input('liters of ice cream consumed per year?'))
    datingLabels,datingMatrix=file2matrix('datingTestSet2.txt')
    normDataSet,range,mins=KNN.autoNorm(datingMatrix)
    arr=np.array([percentTats,ffMiles,iceCream])
    type=result[KNN.classify((arr-mins)/range,normDataSet,datingLabels,5)-1]#注意这里-1是因为返回的数据为1、2、3类型，但是要对应到result中，index从0开始，所以-1
    print('you will probably like this person:',type)
classifyPerson()

实例2：手写识别系统

手写识别系统的样本集为：

每一个文件中的样本均为32*32的0，1数字组成，我们可以看出此时图中展示的为数字0。

首先我们需要将每一个文件转化为1*1042的数组。分类器与之前相同，在评估除有些许改动，因为测试集和训练集已经分开就不需要再在原有集合中抽取，变动处及该系统的整体代码如下：

#KNN中改进处
def classTest(dataMat,dataLabels,testData,testLabel):#原有数据+新数据集测试
    numOfTest=testData.shape[0]
    error=0
    for i in range(numOfTest):
        label=classify(testData[i,:],dataMat,dataLabels,7)
        print('the classifier came back with %s,the real answer is %s'%(label,testLabel[i]))
        if label!=testLabel[i]:error+=1
    print('the total error rate is:%f'%(error/numOfTest))

#手写预测系统
from os import listdir

import numpy as np

import KNN as KNN


def imgSingleFile(filename):
    vect=np.zeros((1,1024))
    file=open(filename)
    for i in range(32):
        line=file.readline()
        for j in range(32):
            vect[0,32*i+j]=line[j]
    return vect

def imgData(dirName):
    labels=[]
    traningFilelist=listdir(dirName)
    count=len(traningFilelist)
    traningData=np.zeros((count,1024))
    for i in range(count):
        fileName=traningFilelist[i]
        className=fileName.split('_')[0]
        labels.append(className)
        traningData[i,:]=imgSingleFile('trainingDigits/%s'%fileName)
    return traningData,labels
#
oralData,oralLabel=imgData('trainingDigits')
# testDate,testLabel=imgData('testDigits')
# KNN.classTest(oralData,oralLabel,testDate,testLabel)
def predict():
    file=input('please input filename:')
    preData=imgSingleFile(file)
    label=KNN.classify(preData,oralData,oralLabel,7)
    print('the number probably is:', label)
predict()

 

lxiaowangtongxue
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
k邻近算法python代码_机器学习算法之K近邻法-Python实现
weixin_35368877的博客
02-17 3171
一、算法简介k近邻法(k-nearest neighbor,k-NN)是一种基本的分类方法，输入的是实例的特征向量，对应于特征空间的点，输出结果为实例的类别，可以取多类。对于训练集来说，每个实例的类别已定，当分类时，对于新的实例，根据其k个最近邻的训练实例的类别，通过多数表决等方式来进行预测。k近邻法分类过程不具有显式的学习过程，其实际上是利用训练数据集对特征向量空间进行划分，从而作为后面分类的模...
数据挖掘领域十大经典算法之—K-邻近算法/kNN（超详细附代码）
fuqiuai的博客
03-06 2万+
相关文章： 数据挖掘领域十大经典算法之—C4.5算法（超详细附代码） 数据挖掘领域十大经典算法之—K-Means算法（超详细附代码） 数据挖掘领域十大经典算法之—SVM算法（超详细附代码） 数据挖掘领域十大经典算法之—Apriori算法 数据挖掘领域十大经典算法之—EM算法 数据挖掘领域十大经典算法之—PageRank算法 数据挖掘领域十大经典算法之—...
K-近邻算法（KNN)
Running Snail
03-25 6万+
​ K近邻（K-Nearest Neighbor, KNN）是一种最经典和最简单的*有监督学习*方法之一
Python3《机器学习实战》学习笔记（一）：k-近邻算法(史诗级干货长文)
热门推荐
Jack-Cui
07-15 17万+
本文将从k-邻近算法的思想开始讲起，使用python3一步一步编写代码进行实战训练。并且，我也提供了相应的数据集，对代码进行了详细的注释。除此之外，本文也对sklearn实现k-邻近算法的方法进行了讲解。实战实例：电影类别分类、约会网站配对效果判定、手写数字识别。
K-邻近算法
qq_45645521的博客
03-31 2427
K-邻近算法K-邻近算法概述手写KNN算法示例：使用K-邻近算法改进约会网站的配对效果示例：手写识别系统 K-邻近算法概述 KNN采用测量不同特征值之间的距离方法进行分类。 优点：精度高、对异常值不敏感、无数据输入假定 缺点：计算复杂度高、空间复杂度高 适用数据范围：数值型和标称型 工作原理：存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算
Python 3实现k-邻近算法以及 iris 数据集分类应用
艾勇-sjtu的blog
08-31 5886
前言这个周基本在琢磨这个算法以及自己利用Python3 实现自主编程实现该算法。持续时间比较长，主要是Pyhton可能还不是很熟练，走了很多路，基本是一边写一边学。不过，总算是基本搞出来了。不多说，进入正题。1. K-邻近算法1.1 基本原理k近邻法(k-nearest neighbor, k-NN)是1967年由Cover T和Hart P提出的一种基本分类与回归方法。它的工作原理是：存在一个样本
K-近邻算法
PCGuo999的博客
07-21 1万+
学习笔记
K-近邻算法(KNN)
郑德帅
12-09 1万+
1.定义: k-近邻（KNN,k-NearestNeighbor）算法是一种基本分类与回归方法，我们这里只讨论分类问题中的 k-近邻算法。k-近邻算法的输入为实例的特征向量，对应于特征空间的点；输出为实例的类别，可以取多类。k-邻算法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其 k 个最近邻的训练实例的类别，通过多数表决等方式进行预测。因此，k近邻算法不...
【机器学习】K-Means算法的原理流程、代码实现及优缺点
AMG_GT的博客
07-14 3万+
通过机器学习教学视频，初识KNN算法，对原理和算法流程通过小应用进行Python实现，有了自己的一些理解。因此在此整理一下，既是对自己学习的阶段性总结，也希望能和更多的朋友们共同交流学习相关算法，如有不完善的地方欢迎批评指正。1、K-Means算法原理DT，全称Decision Trees，即常说的决策树算法。2、K-Means流程框图在建立训练集时，3、K-Means代码实现参照麦子学院4、K-...
K-邻近算法(KNN)
wangprince2017
08-12 1万+
1. KNN 算法原理 k-近邻算法（k-Nearest Neighbour algorithm）的工作原理：给定一个已知标签类别的训练数据集，输入没有标签的新数据后，在训练数据集中找到与新数据最邻近的 k 个实例，如果这 k 个实例的多数属于某个类别，那么新数据就属于这个类别。即由那些离新数据最近的 k 个实例来投票决定新数据归为哪一类。 最邻近分类算法是数据挖掘分类（classificat...
K-means.zip_K._K_邻近分类_k-邻近算法
07-15
此算法为k邻近算法，能很好的对数据进行分类，而且运算速度快
kNN.rar_K._k-邻近算法_knn_k近邻
09-24
邻近算法，或者说K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。
基于k-邻近算法的手写识别系统的研究与实现
01-28
针对计算机对手写输入字符的识别需求，本文基于k邻近算法构建了手写识别系统，并采取平滑、归一化等方法进行数据预处理，提取结构与统计特征，达到提高手写字符识别精度与准确率的目的。计算机测试后表明，本算法...
机器学习实战第一章-k-邻近算法.pdf
08-09
机器学习实战这本书的代码是基于python2实现的，比较老了很多方法已经弃用了，这个是基于python3实现的代码，跟着菊安酱的视频学习来敲的，部分代码写有注释。
K-近邻算法的python实现代码分享
12-25
用官方的话来说，所谓K近邻算法，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例（也就是上面所说的K个邻居）， 这K个实例的多数属于某个类，就把该输入实例分类到这个类中。...
力扣LCP 08.剧情触发时间
最新发布
Pisasama的博客
06-12 399
【代码】力扣LCP 08.剧情触发时间。
牛客网刷题 | BC118 N个数之和
m0_64000959的博客
06-09 489
目前主要分为三个专栏，后续还会添加： 专栏如下： C语言刷题解析 C语言系列文章 我的成长经历感谢阅读！初来乍到，如有错误请指出，感谢！输入数字N，然后输入N个数，计算这N个数的和。第一行输入一个整数N(0≤N≤50)，第二行输入用空格分隔的N个整数。输出为一行，为第二行输入的“N个整数之和”的计算结果。使用数组的方式 先将用户输入的几个数字分别存起来定义一个变量将它数字的和加起来然后输出 代码 2 ： 输入n个数相加，应该想到循
day31||第八章 贪心算法 part01● 理论基础 ● 455.分发饼干 ● 376. 摆动序列 ● 53. 最大子序和
xburner01的博客
06-09 258
思路没问题，代码仔细想想吧。尽可能把大饼干给大胃口的人，先排序是关键。
LeetCode 算法：轮转数组c++
小金牛来了
06-09 677
LeetCode 算法：轮转数组c++
k邻近算法具体代码是什么
06-07
下面是一个简单的Python实现K邻近算法的代码示例。假设我们有一个数据集，其中包含了每个人的年龄和收入以及他们是否购买了一种产品。现在我们要预测一个人是否会购买该产品，给定他的年龄和收入。 ```python import numpy as np # 构造训练数据 X_train = np.array([[20, 3000], [25, 5000], [30, 4000], [35, 6000], [40, 7000], [45, 8000]]) y_train = np.array([0, 0, 0, 1, 1, 1]) # 0表示不购买，1表示购买 # 定义K邻近算法 def knn(X_train, y_train, x, k): distances = np.sqrt(np.sum((X_train - x) ** 2, axis=1)) # 计算新样本与每个训练样本之间的距离 indices = np.argsort(distances)[:k] # 距离最近的K个样本的索引 labels = y_train[indices] # K个邻居的标签 return np.argmax(np.bincount(labels)) # 统计标签的出现次数并返回出现次数最多的标签 # 预测新样本 x = np.array([33, 5500]) k = 3 y_pred = knn(X_train, y_train, x, k) print("预测该用户是否购买该产品：", y_pred) ``` 输出结果为： ``` 预测该用户是否购买该产品： 1 ``` 根据K邻近算法的原理，该用户被分类为“购买”类别。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lxiaowangtongxue

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值