K-近邻算法（KNN）

已于 2023-08-01 20:31:26 修改
阅读量70 收藏 2
点赞数 4
分类专栏： 大数据智能 文章标签： 近邻算法 算法 机器学习 分类算法 分类
于 2023-05-26 17:57:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xinchu0309/article/details/130867269
版权

目录

概述

一个简单的分类器

示例：使用k-近邻算法改进约会网站的配对效果

（1）收集数据

（2）准备数据：用python解析，归一化数值

（3）分析数据：使用Matplotlib创建散点图

（4）训练算法（此步骤不适合k-近邻算法）

（5）测试算法

（6）使用算法

使用k-邻近算法识别手写数字

概述

优点：精度高，对异常值不敏感，无数据输入假定

缺点：计算，空间，复杂度较高

适用于：数值型（连续型），标称型

简单来说：就是采用测量不同特征值之间的距离方法进行分类

一个简单的分类器

大致的作用：自己构建了四个点，为它们附上标签，让程序以这些为指标，判断不同的点应该对应A还是B

import numpy as np #相较书上的不容易出现命名错误
import operator    #运算符模块


def createDataSet(): #自己构建一个小的指标
    group = np.array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]]) #数据集
    labels = ['A', 'A', 'B', 'B'] #数据标签
    return group, labels          #返回值

group,labels=createDataSet()

def classify0(inX, dataSet, labels, k):#(要判断的数据，原数据，原数据类型，前k个)
    dataSetSize = dataSet.shape[0] #矩阵第一维的长度
    diffMat = np.tile(inX, (dataSetSize, 1)) - dataSet #根据训练数据大小生成
    sqDiffMat = diffMat**2 #二维特征相减后平方
    sqDistances = sqDiffMat.sum(axis=1) ########沿着列（但不是很懂为啥）
    distances = sqDistances**0.5 #累加开方
    sortedDistIndicies = distances.argsort()#返回distances中元素从小到大排序后的索引值
    classCount = {} #开一个记录类别次数的字典
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1

    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True) #后两个意思应该是根据第二维，降序排序
    return sortedClassCount[0][0]

a=classify0([0,0],group,labels,3)
print(a)

示例：使用k-近邻算法改进约会网站的配对效果

（1）收集数据

   此处有给定的一些数据，存放在同一个文件夹下ceshi1.txt文件中

（2）准备数据：用python解析，归一化数值

import numpy as np
import operator


def file2matrix(filename):
    love_dictionary = {'largeDoses':3, 'smallDoses':2, 'didntLike':1}#字典定义三的类别
    fr = open(filename)#打开文件
    arrayOLines = fr.readlines() #逐行处理，readlines()方法用于读取所有行(直到结束符 EOF)并返回列表，该列表可以由 Python 的 for... in ... 结构进行处理。
    numberOfLines = len(arrayOLines) #算行数
    returnMat = np.zeros((numberOfLines, 3)) #初始化numpy型， numberOfLines*3大小的特征矩阵
    classLabelVector = [] #初始化标签
    index = 0   #行索引
    for line in arrayOLines:
        line = line.strip() #删空格
        listFromLine = line.split('\t') #用空格分割   成列表
        #没懂为啥是三个
        returnMat[index, :] = listFromLine[0:3]
        #如果是数字
        if(listFromLine[-1].isdigit()):
            #直接赋值到标签
            classLabelVector.append(int(listFromLine[-1]))
        else:
            #如果是字符串，用love_dictionary转换
            classLabelVector.append(love_dictionary.get(listFromLine[-1]))
        index += 1 #索引的移动
    return returnMat, classLabelVector


def autoNorm(dataSet):
    #最大最小
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)
    ranges = maxVals - minVals
    #创建全0的初始矩阵
    normDataSet = np.zeros(np.shape(dataSet))
    #行数
    m = dataSet.shape[0]
    #原始值减去最小值除以最大和最小值的差（书上归一化数据的方法）
    normDataSet = dataSet - np.tile(minVals, (m, 1))
    normDataSet = normDataSet/np.tile(ranges, (m, 1))
    return normDataSet, ranges, minVals

returnMat,classLabelVector=file2matrix('ceshi1.txt')
normDataSet,ranges,minVals=autoNorm(returnMat)

print(normDataSet)
print(ranges)
print(minVals)

（3）分析数据：使用Matplotlib创建散点图

import numpy as np
import operator
import matplotlib
import matplotlib.pyplot as plt


def file2matrix(filename):
    love_dictionary = {'largeDoses':3, 'smallDoses':2, 'didntLike':1}
    fr = open(filename)
    arrayOLines = fr.readlines()
    numberOfLines = len(arrayOLines)           
    returnMat = np.zeros((numberOfLines, 3))      
    classLabelVector = []                       
    index = 0
    for line in arrayOLines:
        line = line.strip()
        listFromLine = line.split('\t')
        returnMat[index, :] = listFromLine[0:3]
        if(listFromLine[-1].isdigit()):
            classLabelVector.append(int(listFromLine[-1]))
        else:
            classLabelVector.append(love_dictionary.get(listFromLine[-1]))
        index += 1
    return returnMat, classLabelVector
a,b=file2matrix('ceshi1.txt')

fig=plt.figure()
ax=fig.add_subplot(111)
ax.scatter(a[:,1],a[:,2],15.0*np.array(b),15.0*np.array(b))
 # 保证图片中输出的文字为中文
plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus'] = False
# 输出横纵坐标上的文字
plt.xlabel("玩游戏所耗时间百分比")
plt.ylabel("每周消耗的冰淇淋公升数")
plt.show()

（4）训练算法（此步骤不适合k-近邻算法）

（5）测试算法

import numpy as np
import operator
import matplotlib
import matplotlib.pyplot as plt

#读取数据
def file2matrix(filename):
    love_dictionary = {'largeDoses':3, 'smallDoses':2, 'didntLike':1}#字典定义三的类别
    fr = open(filename)#打开文件
    arrayOLines = fr.readlines() #逐行处理，readlines()方法用于读取所有行(直到结束符 EOF)并返回列表，该列表可以由 Python 的 for... in ... 结构进行处理。
    numberOfLines = len(arrayOLines) #算行数
    returnMat = np.zeros((numberOfLines, 3)) #初始化numpy型， numberOfLines*3大小的特征矩阵
    classLabelVector = [] #初始化标签
    index = 0   #行索引
    for line in arrayOLines:
        line = line.strip() #删空格
        listFromLine = line.split('\t') #用空格分割   成列表
        #没懂为啥是三个
        returnMat[index, :] = listFromLine[0:3]
        #如果是数字
        if(listFromLine[-1].isdigit()):
            #直接赋值到标签
            classLabelVector.append(int(listFromLine[-1]))
        else:
            #如果是字符串，用love_dictionary转换
            classLabelVector.append(love_dictionary.get(listFromLine[-1]))
        index += 1 #索引的移动
    return returnMat, classLabelVector

#归一化处理
def autoNorm(dataSet):
    #最大最小
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)
    ranges = maxVals - minVals
    #创建全0的初始矩阵
    normDataSet = np.zeros(np.shape(dataSet))
    #行数
    m = dataSet.shape[0]
    #原始值减去最小值除以最大和最小值的差（书上归一化数据的方法）
    normDataSet = dataSet - np.tile(minVals, (m, 1))
    normDataSet = normDataSet/np.tile(ranges, (m, 1))
    return normDataSet, ranges, minVals


def classify0(inX, dataSet, labels, k):#(要判断的数据，原数据，原数据类型，前k个)
    dataSetSize = dataSet.shape[0] #矩阵第一维的长度
    diffMat = np.tile(inX, (dataSetSize, 1)) - dataSet #根据训练数据大小生成
    sqDiffMat = diffMat**2 #二维特征相减后平方
    sqDistances = sqDiffMat.sum(axis=1) ########沿着列（但不是很懂为啥）
    distances = sqDistances**0.5 #累加开方
    sortedDistIndicies = distances.argsort()#返回distances中元素从小到大排序后的索引值
    classCount = {} #开一个记录类别次数的字典
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True) #后两个意思应该是根据第二维，降序排序
    return sortedClassCount[0][0]


def datingClassTest():
    #整个数据10%来测试
    hoRatio = 0.1
    datingDataMat, datingLabels = file2matrix('ceshi1.txt')
    normMat, ranges, minVals = autoNorm(datingDataMat)
    #样本个数
    m = normMat.shape[0]
    #测试个数
    numTestVecs = int(m*hoRatio)
    #错误计数
    errorCount = 0.0
    for i in range(numTestVecs):
        #前一些为测试的，后一些用作训练
        classifierResult = classify0(normMat[i, :], normMat[numTestVecs:m, :], datingLabels[numTestVecs:m], 3)
        print("the classifier came back with: %d, the real answer is: %d" % (classifierResult, datingLabels[i]))
        if (classifierResult != datingLabels[i]): errorCount += 1.0
    print("the total error rate is: %f" % (errorCount / float(numTestVecs)))
    print(errorCount)


datingClassTest()

（6）使用算法

import numpy as np
import operator
import matplotlib
import matplotlib.pyplot as plt

#读取数据
def file2matrix(filename):
    love_dictionary = {'largeDoses':3, 'smallDoses':2, 'didntLike':1}#字典定义三的类别
    fr = open(filename)#打开文件
    arrayOLines = fr.readlines() #逐行处理，readlines()方法用于读取所有行(直到结束符 EOF)并返回列表，该列表可以由 Python 的 for... in ... 结构进行处理。
    numberOfLines = len(arrayOLines) #算行数
    returnMat = np.zeros((numberOfLines, 3)) #初始化numpy型， numberOfLines*3大小的特征矩阵
    classLabelVector = [] #初始化标签
    index = 0   #行索引
    for line in arrayOLines:
        line = line.strip() #删空格
        listFromLine = line.split('\t') #用空格分割   成列表
        #没懂为啥是三个
        returnMat[index, :] = listFromLine[0:3]
        #如果是数字
        if(listFromLine[-1].isdigit()):
            #直接赋值到标签
            classLabelVector.append(int(listFromLine[-1]))
        else:
            #如果是字符串，用love_dictionary转换
            classLabelVector.append(love_dictionary.get(listFromLine[-1]))
        index += 1 #索引的移动
    return returnMat, classLabelVector

#归一化处理
def autoNorm(dataSet):
    #最大最小
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)
    ranges = maxVals - minVals
    #创建全0的初始矩阵
    normDataSet = np.zeros(np.shape(dataSet))
    #行数
    m = dataSet.shape[0]
    #原始值减去最小值除以最大和最小值的差（书上归一化数据的方法）
    normDataSet = dataSet - np.tile(minVals, (m, 1))
    normDataSet = normDataSet/np.tile(ranges, (m, 1))
    return normDataSet, ranges, minVals


def classify0(inX, dataSet, labels, k):#(要判断的数据，原数据，原数据类型，前k个)
    dataSetSize = dataSet.shape[0] #矩阵第一维的长度
    diffMat = np.tile(inX, (dataSetSize, 1)) - dataSet #根据训练数据大小生成
    sqDiffMat = diffMat**2 #二维特征相减后平方
    sqDistances = sqDiffMat.sum(axis=1) ########沿着列（但不是很懂为啥）
    distances = sqDistances**0.5 #累加开方
    sortedDistIndicies = distances.argsort()#返回distances中元素从小到大排序后的索引值
    classCount = {} #开一个记录类别次数的字典
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True) #后两个意思应该是根据第二维，降序排序
    return sortedClassCount[0][0]


def classifyPerson():
    resultList = ['not at all', 'in small doses', 'in large doses']
    percentTats = float(input(\
                                  "percentage of time spent playing video games?"))
    ffMiles = float(input("frequent flier miles earned per year?"))
    iceCream = float(input("liters of ice cream consumed per year?"))
    datingDataMat, datingLabels = file2matrix('ceshi1.txt')
    normMat, ranges, minVals = autoNorm(datingDataMat)
    inArr = np.array([ffMiles, percentTats, iceCream, ])
    classifierResult = classify0((inArr - \
                                  minVals)/ranges, normMat, datingLabels, 3)
    print("You will probably like this person: %s" % resultList[classifierResult - 1])


classifyPerson()

使用k-邻近算法识别手写数字

未完待续

心刍
关注
  • 4
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
K-近邻算法（kNN）
weixin_55773387的博客
11-03 1805
如何确定上图中问号处电影的类型呢?首先我们需要先确定电影中存在的打斗镜头和接吻镜头的个数。上面则是各个电影的打斗和接吻镜头的个数以及其电影类型，可以以其镜头个数进行坐标的定位，即问号出的坐标为（18，90）因此可以将问号处与各个电影之间的距离计算出来，如下图现在我们知道了样本集中所有电影与未知电影的距离，并且从小到大排序，因此我们可以找到k个距离最近的电影，来判断其类型，
K-近邻算法KNN学习笔记
01-27
K-近邻算法（K-Nearest Neighbor, KNN）是一种基础的机器学习算法，主要用于分类和回归任务。它的核心思想是基于实例的学习，通过在训练数据集中寻找与新样本最为相似的邻居来做出预测。KNN算法由Cover T和Hart P在...
K-近邻算法（KNN)
热门推荐
Running Snail
03-25 6万+
​ K近邻（K-Nearest Neighbor, KNN）是一种最经典和最简单的*有监督学习*方法之一
K-近邻算法(KNN)
郑德帅
12-09 1万+
1.定义: k-近邻（KNN,k-NearestNeighbor）算法是一种基本分类与回归方法，我们这里只讨论分类问题中的 k-近邻算法。k-近邻算法的输入为实例的特征向量，对应于特征空间的点；输出为实例的类别，可以取多类。k-邻算法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其 k 个最近邻的训练实例的类别，通过多数表决等方式进行预测。因此，k近邻算法不...
k-近邻算法（KNN）
qq_58146842的博客
11-14 1648
KNN的介绍 kNN(k-nearest neighbors)，中文翻译K近邻。我们常常听到一个故事：如果要了解一个人的经济水平，只需要知道他最好的5个朋友的经济能力， 对他的这五个人的经济水平求平均就是这个人的经济水平。这句话里面就包含着kNN的算法思想。 如上图，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。 中心思想：knn常用于解决二分.
K-近邻算法： k-nearest neighbor classification (kNN) 详细介绍
chenhepg的博客
04-09 3万+
@创建于：2020.04.09 @修改于：2020.04.09，2024.06.22 文章目录1、kNN介绍2、k近邻法的三要素详解2.1 距离度量2.2 k值的选择2.3 分类决策规则3、k近邻法的实现：kd树4、Python实现过程5、优缺点6、常见问题 1、kNN介绍 kNN是一个基本而简单的分类算法，作为监督学习，那么KNN模型需要的是有标签的训练数据，对于新样本的类别由与新样本距离最近的k个训练样本点按照分类...
机器学习算法——k-近邻算法
huangQK的博客
10-09 1093
k-近邻算法（k-Nearest Neighbour algorithm），又称为KNN算法。KNN的工作原理：给定一个已知标签类别的训练数据集，输入没有标签的新数据后，在训练数据集中找到与新数据最邻近的k个实例，如果这k个实例的多数属于某个类别，那么新数据就属于这个类别。由那些离X最近的k个点来投票决定X归为哪一类。下面我们通过一个简单的小例子来了解一下k-近邻算法：图1-1图1-1是一个很基础的knn算法模型。
K-近邻(KNN)算法
dayuhaitang1的博客
09-22 1219
因为自己的好奇心，所以做了这一篇关于KNN 算法的笔记。 文章目录一、简介 一、简介 K-近邻算法是一种常用的监督学习的方法，其与K-Means算法有点类似，其原理是：在给定的样本数据中，基于某种距离(欧式距离或马氏距离等等)找出与当前样本数据距离最近的K个样本数据，然后再基于这K个“邻居”的信息来进行预测。 这个算法在生活中应用的其实也很多，比如电影、新闻等信息的归类，它可以很简单的就做到将电影、新闻进行分门别类。 除此之外呢，就是K近邻算法有着不同于其他学习方法的独特之处，它几乎没有显式训练的过程
k-近邻算法
sikh_0529的博客
09-11 1万+
如果选择较小的 k 值，就相当于用较小的邻域中的训练实例进行预测，“学习”的近似误差（approximation error）会减小，只有与输入实例较近的（相似的）训练实例才会对预测结果起作用。如果选择较大的 k 值，就相当于用较大的邻域中的训练实例进行预测。简单来说: 通过距离度量来计算查询点（query point）与每个训练数据点的距离，然后选出与查询点（query point）相近的K个最邻点（K nearest neighbors），使用分类决策来选出对应的标签来作为该查询点的标签。
K-近邻算法
PCGuo999的博客
07-21 1万+
学习笔记
k-近邻算法_K-近邻算法_K._
09-29
**k-近邻算法（K-Nearest Neighbors，简称KNN）** k-近邻算法是一种基于实例的学习，属于监督学习方法，广泛应用于分类和回归问题。在分类任务中，KNN的基本思想是：对于一个新的未知类别的数据点，我们将其划归到...
分类的故事之K-近邻算法（KNN）
01-20
分类的故事之K-近邻算法（KNN） 文章同步更新在公众号“肥宅的日杂铺” KNN(k-Nearest Neighbor)，是著名的模式识别统计学方法，也最简单的机器学习算法之一。其中心思想为近朱者赤，近墨者黑（相似即为同类）。 ...
【18】输出字符菱形
2301_78786609的博客
07-19 183
用‘*’构造一个对角线长n个字符，倾斜放置的菱形。
Held-Karp算法的C++代码
m0_61862494的博客
07-19 95
Held-Karp算法是动态规划的一种应用，用于解决旅行商问题 (TSP)。该算法通过记录部分路径的最小成本来避免重复计算，从而有效地降低计算复杂度。Held-Karp算法使用一个状态压缩动态规划表。表示从起点出发，访问过所有由。表示的集合中的节点，并以节点。结束的最小路径长度。
Leetcode—207. 课程表【中等】
Atticus的博客
07-19 157
运行结果 之后我会持续更新，如果喜欢我的文章，请记得一键三连哦，点赞关注收藏，你的每一个赞每一份关注每一次收藏都将是我前进路上的无限动力 ！！！↖(▔▽▔)↗感谢支持！
树与二叉树
2201_76027754的博客
07-15 790
树和二叉树
2024.7.19 刷题总结
最新发布
TheJustice_的博客
07-19 119
543.二叉树的直径，这道题是一道考察递归的题目，按照树的一般算法，维护一个最大直径答案值，定义一个递归函数，开头是递归返回条件，即当前节点为空节点就返回0，否则分别往左和往右递归，维护每个节点的最大深度为左右最大深度中的最大值再加一，答案用左右节点的最大深度的和再加一来维护.124.二叉树中的最大路径和，这是一道考察递归的题目，从根节点出发，类似于dfs，分别递归寻找左右节点的路径和，直到叶子节点再返回，从叶子节点往上更新以每个节点为根节点的最大路径，直到返回根节点，用一个变量来维护答案.
R语言 K-近邻算法填补
10-15
在R语言中，可以使用impute.knn函数来实现K-近邻算法填补。该函数需要指定数据集、K值和距离度量方法等参数。下面是一个简单的示例代码： ```R library(impute) data(iris) # 人为将iris数据集的前10个数据的第一个...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心刍

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值