【P16 机器学习-分类算法及应用实践】KNN

已于 2023-07-22 22:26:35 修改
阅读量47 收藏
点赞数
分类专栏： Python 深度学习 文章标签： 机器学习 分类 KNN
于 2022-06-26 13:07:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51233386/article/details/125368320
版权

机器学习-分类算法及应用实践 KNN

在这里插入图片描述

1 分类基本思想

1.1 引入例子

在这里插入图片描述
在这里插入图片描述

import matplotlib.pyplot as plt

fight=(3,2,1,101,99,98,18)
kiss=(104,100,81,10,5,2,90)
filmtype=(1,1,1,2,2,2,3) # 电影类型，爱情片用1表示，动作片2表示，未知类型用3 表示 
plt.scatter(fight,kiss,c=filmtype)# scatter绘制散点图，c颜色，分别区分三种类型电影的颜色

在这里插入图片描述

1.2 分类概念

在这里插入图片描述

分类核心思想就是相似；
人以群分，物以类聚；
出现黑豆里的是黑豆概率比较大，同样出现在绿豆里的是绿豆的概率比较大；

在这里插入图片描述

2 KNN算法基本原理

2.1 最近邻算法 （NN）

距离，距离谁近，就大概属于谁；

最近邻算法——KNN，K近邻

在这里插入图片描述
在这里插入图片描述

2.2 K近邻算法思想

在这里插入图片描述
在这里插入图片描述

2.3 KNN算法步骤

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.4 KNN算法中的K

在这里插入图片描述
在这里插入图片描述

3 KNN算法实战

3.1 示例分析算法步骤

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.2 KNN程序 分步实现

在这里插入图片描述

mport numpy as np
import matplotlib.pyplot as plt

# 训练集，删去未知点（18，90）
fight=(3,2,1,101,99,98)
kiss=(104,100,81,10,5,2)


filmtype=(1,1,1,2,2,2) # 电影类型，爱情片用1表示，动作片2表示
plt.scatter(fight,kiss,c=filmtype)# c颜色，分别区分三种类型电影的颜色

x=np.array([fight,kiss])  #训练集，
x=x.T
y=np.array(filmtype)# 输出

print(x)
print(y)

在这里插入图片描述

这里的X，y表示一致样本x,未知样本y

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
距离及排序

xx=np.array([18,90])
dis=(((x-xx)**2).sum(1))**0.5
print(dis)
    
sortedDis=dis.argsort()#得到的是，索引排序
print(sortedDis)

在这里插入图片描述
在这里插入图片描述

k=4
classCount={}#建立一个空字典，存储电影类型出现的次数
for i in range(k):
    votelabel=y[sortedDis[i]]#filmtype的类型y,作为投票标签；通过y的索引值 （排序的索引当作Y的索引），统计filmtype的类型
    classCount[votelabel]=classCount.get(votelabel,0)+1 #原来的结果从0开始，每次在对应的类型统计上加1
    
print(classCount)

在这里插入图片描述
电影类型1被统计3次，类型2 被统计1次

在这里插入图片描述

maxType=0
maxCount=-1
for key ,value in classCount.items():
if value >maxCount:
maxType=key
maxCount=value
print(‘output’,maxType)

在这里插入图片描述

3.3 完整程序

import numpy as np
import matplotlib.pyplot as plt

# 1. 构建数据集
# 训练集，删去未知点（18，90）
fight=(3,2,1,101,99,98)
kiss=(104,100,81,10,5,2)

filmtype=(1,1,1,2,2,2) # 电影类型，爱情片用1表示，动作片2表示
plt.scatter(fight,kiss,c=filmtype)# c颜色，分别区分三种类型电影的颜色

x=np.array([fight,kiss])  #训练集，
x=x.T
y=np.array(filmtype)# 输出

print(x)
print(y)


# 2. 计算未知样本和每个训练集样本的距离
xx=np.array([18,90])
dis=(((x-xx)**2).sum(1))**0.5
print(dis)
   
# 3. 将距离升序排序 
sortedDis=dis.argsort()#得到的是，索引排序
print(sortedDis)


# 4. 选取距未知样本最近的k个点，统计前k个点所在类别出现的次数
k=4
classCount={}#建立一个空字典，存储电影类型出现的次数
for i in range(k):
    votelabel=y[sortedDis[i]]#filmtype的类型y,作为投票标签；通过y的索引值 （排序的索引当作Y的索引），统计filmtype的类型
    classCount[votelabel]=classCount.get(votelabel,0)+1 #原来的结果从0开始，每次在对应的类型统计上加1
    
print(classCount)

# 5. 多数表决，输出结果
maxType=0
maxCount=-1
for key ,value in classCount.items():
    if value >maxCount:
        maxType=key
        maxCount=value
print('output',maxType)

3.4 封装KNN函数

在这里插入图片描述

封装KNN函数

import numpy as np

def knn(inX,dataSet,labels,k): 
    
    # 计算未知样本和每个训练集样本的距离
    dis=(((dataSet-inX)**2).sum(1))**0.5 
    sortedDis=dis.argsort() #将距离升序排序 ;得到的是，索引排序
    
    #选取距未知样本最近的k个点，统计前k个点所在类别出现的次数
    classCount={}#建立一个空字典，存储电影类型出现的次数
    for i in range(k):
        votelabel=labels[sortedDis[i]]#filmtype的类型labels作为投票标签；通过labels的索引值 （排序的索引当作labels的索引），统计filmtype的类型
        classCount[votelabel]=classCount.get(votelabel,0)+1 #原来的结果从0开始，每次在对应的类型统计上加1
    
    # 多数表决投票
    maxType=0
    maxCount=-1
    for key ,value in classCount.items():
        if value >maxCount:
            maxType=key
            maxCount=value
    return maxType

调用KNN函数

import numpy as np
import matplotlib.pyplot as plt
import knn as K

# 1. 构建数据集
# 训练集，删去未知点（18，90）
fight=(3,2,1,101,99,98)
kiss=(104,100,81,10,5,2)

filmtype=(1,1,1,2,2,2) # 电影类型，爱情片用1表示，动作片2表示
plt.scatter(fight,kiss,c=filmtype)# c颜色，分别区分三种类型电影的颜色

x=np.array([fight,kiss])  #训练集，
x=x.T
y=np.array(filmtype)# 输出

print(x)
print(y)


# 2. 计算未知样本和每个训练集样本的距离
xx=np.array([18,90])

# 3.调用knn函数
type=K.knn(xx,x,y,4)

print('output',type)

在这里插入图片描述

4 实战案例

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

4.1 读取数据

在这里插入图片描述

def file2matrix(filename):  
    fr = open(filename)  
    numberOfLines = len(fr.readlines())      
    returnMat = np.zeros((numberOfLines,3))        
    classLabelVector = []     # 创建空的向量存放分类标签                  
    fr = open(filename)  
    index = 0 
    for line in fr.readlines():
        line = line.strip()  #删除每行头尾的空白字符
        listFromLine = line.split('\t') # 每行的四个元素是以tab分开的，进行切片 
        returnMat[index,:] = listFromLine[0:3]  #将前三列存储在Mat矩阵中
        if listFromLine[-1] == 'didntLike':
            classLabelVector.append(1)
        elif listFromLine[-1] == 'smallDoses':
            classLabelVector.append(2)
        elif listFromLine[-1] == 'largeDoses':
            classLabelVector.append(3)
        index += 1
    return returnMat,classLabelVector

datingDataMat,datingLabels = file2matrix('datingTestSet.txt')

print(datingDataMat)
print(datingLabels)

在这里插入图片描述

4.2 分析数据

在这里插入图片描述
里程数和游戏，数据特征

plt.scatter(datingDataMat[:,0],datingDataMat[:,1],c=datingLabels) # 第一列里程和第二列打游戏，散点图，用不同颜色标记三种标签
plt.show()

在这里插入图片描述
里程数和吃冰淇凌，数据特征

plt.scatter(datingDataMat[:,0],datingDataMat[:,2],c=datingLabels) 
plt.show()

在这里插入图片描述

打游戏和吃冰淇凌，数据特征

plt.scatter(datingDataMat[:,1],datingDataMat[:,2],c=datingLabels) 
plt.show()

在这里插入图片描述

4.3 数据归一化处理

在这里插入图片描述
在这里插入图片描述

# 数据归一化
def autoNorm(dataSet):
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)
    normDataSet = np.zeros(dataSet.shape)
    normDataSet = (dataSet-minVals)/(maxVals-minVals)
    return normDataSet

在这里插入图片描述

datingDataMat,datingLabels = file2matrix('datingTestSet.txt')
dataSet=autoNorm(datingDataMat)
print(dataSet)

在这里插入图片描述

4.4 测试KNN分类器模型

在这里插入图片描述

#分类器模型训练集 测试集
m = 0.8 #设置训练集的比例
dataSize = dataSet.shape[0] #取数据的全部行
trainSize = int(m*dataSize)
testSize = int((1-m)*dataSize)+1  # 199.9999python向下取整，199，故加1
print('数据总行数 ：',dataSize,'  训练集 ：',trainSize,' 测试集 :',testSize)
k=5
result=[]
error=0
for i in range(testSize):
    result=K.knn(dataSet[trainSize+i,:],dataSet[:trainSize,:],datingLabels[:trainSize],k)
    if result != datingLabels[trainSize+i]:
        error=+1
         
print('错误率 ：',error/testSize)

在这里插入图片描述

在这里插入图片描述

4.5 完整程序

KNN 函数

def knn(inX,dataSet,labels,k): 
    
    # 计算未知样本和每个训练集样本的距离
    dis=(((dataSet-inX)**2).sum(1))**0.5 
    sortedDis=dis.argsort() #将距离升序排序 ;得到的是，索引排序
    
    #选取距未知样本最近的k个点，统计前k个点所在类别出现的次数
    classCount={}#建立一个空字典，存储电影类型出现的次数
    for i in range(k):
        votelabel=labels[sortedDis[i]]#filmtype的类型labels作为投票标签；通过labels的索引值 （排序的索引当作labels的索引），统计filmtype的类型
        classCount[votelabel]=classCount.get(votelabel,0)+1 #原来的结果从0开始，每次在对应的类型统计上加1
    
    # 多数表决投票
    maxType=0
    maxCount=-1
    for key ,value in classCount.items():
        if value >maxCount:
            maxType=key
            maxCount=value
    return maxType

数据处理（转为为矩阵），归一化，分类器模型训练集 测试集，调用

import numpy as np 
import matplotlib.pyplot as plt 
import knn as K

# 文件转矩阵处理
def file2matrix(filename):  
    fr = open(filename)  
    numberOfLines = len(fr.readlines())      
    returnMat = np.zeros((numberOfLines,3))        
    classLabelVector = []     # 创建空的向量存放分类标签                  
    fr = open(filename)  
    index = 0 
    for line in fr.readlines():
        line = line.strip()  #删除每行头尾的空白字符
        listFromLine = line.split('\t') # 每行的四个元素是以tab分开的，进行切片 
        returnMat[index,:] = listFromLine[0:3]  #将前三列存储在Mat矩阵中
        if listFromLine[-1] == 'didntLike':
            classLabelVector.append(1)
        elif listFromLine[-1] == 'smallDoses':
            classLabelVector.append(2)
        elif listFromLine[-1] == 'largeDoses':
            classLabelVector.append(3)
        index += 1
    return returnMat,classLabelVector

# 数据归一化
def autoNorm(dataSet):
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)
    normDataSet = np.zeros(dataSet.shape)
    normDataSet = (dataSet-minVals)/(maxVals-minVals)
    return normDataSet


datingDataMat,datingLabels = file2matrix('datingTestSet.txt')
dataSet=autoNorm(datingDataMat)
print(dataSet)

#分类器模型训练集 测试集
m = 0.8 #设置训练集的比例
dataSize = dataSet.shape[0] #取数据的全部行
trainSize = int(m*dataSize)
testSize = int((1-m)*dataSize)+1  # 199.9999python向下取整，199，故加1
print('数据总行数 ：',dataSize,'  训练集 ：',trainSize,' 测试集 :',testSize)
k=5
result=[]
error=0
for i in range(testSize):
    result=K.knn(dataSet[trainSize+i,:],dataSet[:trainSize,:],datingLabels[:trainSize],k)
    if result != datingLabels[trainSize+i]:
        error=+1
         
print('错误率 ：',error/testSize)

5 鸢尾花分类（练习）

在这里插入图片描述

6 KNN算法总结

为什么Y分类，KNN失效呢 ？
在这里插入图片描述

6.1 KNN优点

在这里插入图片描述

6.2 KNN缺点

在这里插入图片描述

在这里插入图片描述

R-G-B
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
机器学习-knn分类算法与应用.docx
07-18
KNN分类算法原理，KNN分类算法Python实战，KNN算法补充。
机器学习算法-knn分类算法与应用
woaini886353的博客
05-10 2375
1. kNN分类算法原理 1.1 概述 K最近邻（k-Nearest Neighbor，KNN）分类算法是最简单的机器学习算法。[dht1] KNN算法的指导思想是“近朱者赤，近墨者黑”，由你的邻居来推断出你的类别。 本质上，KNN算法就是用距离来衡量样本之间的相似度 1.2 算法图示 从训练集中找到和新数据最接近的k条记录，然后根据多数类来决定新数据类别。 算法涉及3个主要因素： 训练数据集 距离或相似度的计算衡量 k的大小 算法描述 已知两类“先验”数据，分别是蓝方块.
[自用]|[ML]《机器学习实战》—Peter Harrington自用笔记
weixin_43991786的博客
03-04 364
《机器学习实战》—Peter Harrington 文章目录《机器学习实战》—Peter Harrington注解源码GitHub监督学习的用途：k - 近邻算法(kNN)优点：缺点：准备数据：从文本文件中解析数据分析数据：使用Matplotlib创建散点图准备数据：归一化数值测试算法：作为完整程序检验分类器使用算法：构建完整可用的系统完整代码可视化代码决策树（k决策树作为k-近邻算法的优化版）优...
《机器学习算法竞赛实战》学习笔记（一)框架梳理
weixin_49095787的博客
03-24 328
《机器学习算法竞赛实战》学习笔记（一)框架梳理
cs231n计算机视觉课程笔记
SereneL9的博客
01-11 1196
P2 目标识别 PASCAL 数据集 一个ImageNet（1500w—4000w、22000类） P3 2012： AlexNet 7-8 层 2014：VGG网络 19层 2015：残差网络152层 1998 LeCun CNN诞生用于数字识别，2012才开始流行的原因：计算能力、标签↑ P4 图像分类-数据驱动方法 计算机眼中的图像：一大堆数字：800*600的像素，每个像素由三个值表示（红、绿、蓝） 问题：语义鸿沟存在于人类定义的语义概念与计算机实际看到的像素值之间。 challenge：
机器学习实战 - k近邻算法（KNN算法）总结
04-12
机器学习实战 - k近邻算法（KNN算法）总结 适合机器学习实战入门新手 K-近邻算法，又称为 KNN 算法，是数据挖掘技术中原理最简单的算法。 KNN 的工作原理：给定一个已知类别标签的数据训练集，输入没有标签的新数据...
机器学习-KNN算法实现
11-02
机器学习knn算法实现，工程使用pycharm建立，包括机器学习实战的代码和自己重写的部分代码，增加部分函数的使用方法介绍。
ai-机器学习算法实现之KNN.zip
最新发布
04-25
ai ai_机器学习算法实现之KNN
机器学习-KNN算法（手动代码，含泪）
09-14
数据
python机器学习之KNN分类算法
09-20
主要为大家详细介绍了python机器学习之KNN分类算法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
机器学习之KNN算法
01-06
1.基础概念 kNN算法的核心思想是如果一个样本在特征空间中的...KNN算法不仅可以用于分类，还可以用于回归。通过找出一个样本的k个最近邻居，将这些邻居的属性的平均值赋给该样本，就可以得到该样本的属性。更有用的方法
机器学习--KNN算法.pptx
11-28
物流人工智能_机器学习
机器学习-kNN算法
12-15
包含基于Python实现的kNN代码，可在Pycharm中直接运行，包含约会网站的配对改进程序以及手写体识别系统
机器学习KNN分类，葡萄酒分类
05-05
机器学习KNN分类，葡萄酒分类
机器学习报告-基于PCA和KNN算法的毒蘑菇分类预测实验报告-机器学习高分大作业
11-18
机器学习报告-机器学习大作业16页-基于PCA和KNN算法的毒蘑菇分类预测-1.研究意义2.数据描述3.模型描述4.算法实现5.运行结果及意义说明6.总结(原创资源,作者的机器学习课程报告)
机器学习-基于Python实现的机器学习算法之KNN.zip
03-03
机器学习_基于Python实现的机器学习算法之KNN
《机器学习》算法实例-KNN算法-海伦约会案例
11-24
训练算法: 此步骤不适用于 k-近邻算法 测试算法: 使用海伦提供的部分数据作为测试样本。 使用算法: 产生简单的命令行程序，然后海伦可以输入一些特征数据以判断对方是否为自己喜欢的类型。 【注】本实例对于每步都...
机器学习-KNN等各类算法实现
06-28
KNN、贝叶斯算法、集成学习、回归、决策树、支持向量机等
头歌实践教学平台机器学习knn算法
07-15
### 回答1： 头歌实践教学平台是一个基于机器学习的教育平台，其中包含了KNN算法的实践教学内容。 KNN算法是一种常用的机器学习算法，全称为K-最近邻算法。它是一个分类和回归问题中常用的算法之一。其基本思想是通过计算待分类样本与训练集中的样本之间的距离，将样本分成k个最近的邻居，再根据这些邻居的标签进行分类或回归。 头歌实践教学平台通过KNN算法提供了一种交互式的学习方式，使学生能够通过实践应用来更好地理解和掌握这个算法。学生可以在平台上进行实验操作，选择不同的k值，观察算法在不同情况下的表现。 平台提供了丰富的学习资源，包括理论讲解、实践案例、编程练习等。学生可以通过学习文档和视频了解KNN算法的原理和应用场景，然后通过平台上的编程环境实现相应的代码。 在实践中，学生可以使用平台提供的数据集，例如数字识别数据集，将KNN算法应用于分类问题。他们可以尝试不同的距离度量方法，如欧氏距离和曼哈顿距离，并观察这些选择对算法性能的影响。通过实践，学生可以亲身体验算法的运行过程和结果，并探索算法背后的原理和机制。 头歌实践教学平台的机器学习KNN算法模块为学生提供了一个动手实践的机会，帮助他们巩固理论知识、培养编程能力，并深入理解和运用KNN算法。通过这种互动式的学习方式，学生可以更有效地掌握机器学习算法，并将其应用于实际问题中。 ### 回答2： 头歌实践教学平台是一款面向机器学习领域的在线教学平台，它提供了丰富的实践机会来学习和实践各种机器学习算法，其中也包括了K最近邻（k-nearest neighbors，简称KNN）算法。 KNN算法是一种用于分类和回归的机器学习算法。该算法的核心思想是通过计算新输入样本与训练数据集中所有样本之间的距离，并选取距离最近的K个样本作为其邻居，进而根据邻居的分类标签或回归值来确定新样本的分类或预测值。KNN算法的特点是简单易懂，容易实现，并且对于非线性的问题具有很好的适应性。 在头歌实践教学平台上学习KNN算法，学员们可以通过课程视频学习KNN算法的理论知识，包括距离度量的选择、K值的确定、邻居权重的计算等等。在理论学习之后，学员们可以通过实践项目来进一步理解和应用KNN算法。 在实践项目中，学员们可以使用头歌实践教学平台提供的代码编辑器和机器学习库，通过编写代码来实现KNN算法。平台可以提供丰富的数据集供学员们使用，学员们可以根据实际需求选择合适的数据集进行实验。通过编写代码并运行实验，学员们可以亲自体验KNN算法的具体操作，比如计算距离、选择最近的邻居、进行分类或回归预测等等。 总之，通过使用头歌实践教学平台学习KNN算法，学员们可以在理论学习与实践项目之间进行有机结合，深入理解KNN算法的原理与应用，并通过编写代码实现算法，提升他们在机器学习领域的实践能力。 ### 回答3： 头歌实践教学平台机器学习中的K最近邻（KNN）算法是一种简单高效的非参数分类与回归方法。它的核心思想是根据样本之间的距离来进行分类或预测。KNN算法主要包含三个步骤：选择K值、计算距离、确定K个最近邻样本的分类。 首先，需要选择一个合适的K值，它代表了在分类时要考虑的最近邻样本的个数。通常情况下，选择较小的K值会使分类结果更加敏感，而选择较大的K值则会使分类结果更加平滑。 其次，计算待分类样本点与所有训练样本点之间的距离。距离的计算可以采用欧式距离、曼哈顿距离等不同的度量方法，具体选择哪种距离度量方式需要根据具体应用场景来确定。 最后，根据K值选择距离最近的K个样本，通过投票或者加权投票的方式来确定待分类样本的类别。在分类问题中，选择票数最多的类别作为分类结果；在回归问题中，通过计算K个最近邻样本的平均值或加权平均值来预测待分类样本的输出值。 KNN算法适用于多分类和回归问题，并且具有较好的可解释性和良好的泛化能力。然而，KNN算法的效率较低，对于大规模数据集而言计算开销较大。此外，KNN算法对于特征值的选择非常敏感，不合理的特征选择可能导致分类效果不佳。 总而言之，头歌实践教学平台机器学习中的KNN算法是一种简单有效的分类与回归方法，通过计算待分类样本与训练样本之间的距离来进行预测或分类。在实际应用中，需要根据具体的问题场景选择合适的K值和距离度量方式。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

R-G-B

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值