【P16 机器学习-分类算法及应用实践】KNN

已于 2023-07-22 22:26:35 修改
阅读量88 收藏
点赞数
分类专栏： Python 深度学习 文章标签： 机器学习 分类 KNN
于 2022-06-26 13:07:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51233386/article/details/125368320
版权

机器学习-分类算法及应用实践 KNN

在这里插入图片描述

1 分类基本思想

1.1 引入例子

在这里插入图片描述
在这里插入图片描述

import matplotlib.pyplot as plt

fight=(3,2,1,101,99,98,18)
kiss=(104,100,81,10,5,2,90)
filmtype=(1,1,1,2,2,2,3) # 电影类型，爱情片用1表示，动作片2表示，未知类型用3 表示 
plt.scatter(fight,kiss,c=filmtype)# scatter绘制散点图，c颜色，分别区分三种类型电影的颜色

在这里插入图片描述

1.2 分类概念

在这里插入图片描述

分类核心思想就是相似；
人以群分，物以类聚；
出现黑豆里的是黑豆概率比较大，同样出现在绿豆里的是绿豆的概率比较大；

在这里插入图片描述

2 KNN算法基本原理

2.1 最近邻算法 （NN）

距离，距离谁近，就大概属于谁；

最近邻算法——KNN，K近邻

在这里插入图片描述
在这里插入图片描述

2.2 K近邻算法思想

在这里插入图片描述
在这里插入图片描述

2.3 KNN算法步骤

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.4 KNN算法中的K

在这里插入图片描述
在这里插入图片描述

3 KNN算法实战

3.1 示例分析算法步骤

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.2 KNN程序 分步实现

在这里插入图片描述

mport numpy as np
import matplotlib.pyplot as plt

# 训练集，删去未知点（18，90）
fight=(3,2,1,101,99,98)
kiss=(104,100,81,10,5,2)


filmtype=(1,1,1,2,2,2) # 电影类型，爱情片用1表示，动作片2表示
plt.scatter(fight,kiss,c=filmtype)# c颜色，分别区分三种类型电影的颜色

x=np.array([fight,kiss])  #训练集，
x=x.T
y=np.array(filmtype)# 输出

print(x)
print(y)

在这里插入图片描述

这里的X，y表示一致样本x,未知样本y

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
距离及排序

xx=np.array([18,90])
dis=(((x-xx)**2).sum(1))**0.5
print(dis)
    
sortedDis=dis.argsort()#得到的是，索引排序
print(sortedDis)

在这里插入图片描述
在这里插入图片描述

k=4
classCount={}#建立一个空字典，存储电影类型出现的次数
for i in range(k):
    votelabel=y[sortedDis[i]]#filmtype的类型y,作为投票标签；通过y的索引值 （排序的索引当作Y的索引），统计filmtype的类型
    classCount[votelabel]=classCount.get(votelabel,0)+1 #原来的结果从0开始，每次在对应的类型统计上加1
    
print(classCount)

在这里插入图片描述
电影类型1被统计3次，类型2 被统计1次

在这里插入图片描述

maxType=0
maxCount=-1
for key ,value in classCount.items():
if value >maxCount:
maxType=key
maxCount=value
print(‘output’,maxType)

在这里插入图片描述

3.3 完整程序

import numpy as np
import matplotlib.pyplot as plt

# 1. 构建数据集
# 训练集，删去未知点（18，90）
fight=(3,2,1,101,99,98)
kiss=(104,100,81,10,5,2)

filmtype=(1,1,1,2,2,2) # 电影类型，爱情片用1表示，动作片2表示
plt.scatter(fight,kiss,c=filmtype)# c颜色，分别区分三种类型电影的颜色

x=np.array([fight,kiss])  #训练集，
x=x.T
y=np.array(filmtype)# 输出

print(x)
print(y)


# 2. 计算未知样本和每个训练集样本的距离
xx=np.array([18,90])
dis=(((x-xx)**2).sum(1))**0.5
print(dis)
   
# 3. 将距离升序排序 
sortedDis=dis.argsort()#得到的是，索引排序
print(sortedDis)


# 4. 选取距未知样本最近的k个点，统计前k个点所在类别出现的次数
k=4
classCount={}#建立一个空字典，存储电影类型出现的次数
for i in range(k):
    votelabel=y[sortedDis[i]]#filmtype的类型y,作为投票标签；通过y的索引值 （排序的索引当作Y的索引），统计filmtype的类型
    classCount[votelabel]=classCount.get(votelabel,0)+1 #原来的结果从0开始，每次在对应的类型统计上加1
    
print(classCount)

# 5. 多数表决，输出结果
maxType=0
maxCount=-1
for key ,value in classCount.items():
    if value >maxCount:
        maxType=key
        maxCount=value
print('output',maxType)

3.4 封装KNN函数

在这里插入图片描述

封装KNN函数

import numpy as np

def knn(inX,dataSet,labels,k): 
    
    # 计算未知样本和每个训练集样本的距离
    dis=(((dataSet-inX)**2).sum(1))**0.5 
    sortedDis=dis.argsort() #将距离升序排序 ;得到的是，索引排序
    
    #选取距未知样本最近的k个点，统计前k个点所在类别出现的次数
    classCount={}#建立一个空字典，存储电影类型出现的次数
    for i in range(k):
        votelabel=labels[sortedDis[i]]#filmtype的类型labels作为投票标签；通过labels的索引值 （排序的索引当作labels的索引），统计filmtype的类型
        classCount[votelabel]=classCount.get(votelabel,0)+1 #原来的结果从0开始，每次在对应的类型统计上加1
    
    # 多数表决投票
    maxType=0
    maxCount=-1
    for key ,value in classCount.items():
        if value >maxCount:
            maxType=key
            maxCount=value
    return maxType

调用KNN函数

import numpy as np
import matplotlib.pyplot as plt
import knn as K

# 1. 构建数据集
# 训练集，删去未知点（18，90）
fight=(3,2,1,101,99,98)
kiss=(104,100,81,10,5,2)

filmtype=(1,1,1,2,2,2) # 电影类型，爱情片用1表示，动作片2表示
plt.scatter(fight,kiss,c=filmtype)# c颜色，分别区分三种类型电影的颜色

x=np.array([fight,kiss])  #训练集，
x=x.T
y=np.array(filmtype)# 输出

print(x)
print(y)


# 2. 计算未知样本和每个训练集样本的距离
xx=np.array([18,90])

# 3.调用knn函数
type=K.knn(xx,x,y,4)

print('output',type)

在这里插入图片描述

4 实战案例

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

4.1 读取数据

在这里插入图片描述

def file2matrix(filename):  
    fr = open(filename)  
    numberOfLines = len(fr.readlines())      
    returnMat = np.zeros((numberOfLines,3))        
    classLabelVector = []     # 创建空的向量存放分类标签                  
    fr = open(filename)  
    index = 0 
    for line in fr.readlines():
        line = line.strip()  #删除每行头尾的空白字符
        listFromLine = line.split('\t') # 每行的四个元素是以tab分开的，进行切片 
        returnMat[index,:] = listFromLine[0:3]  #将前三列存储在Mat矩阵中
        if listFromLine[-1] == 'didntLike':
            classLabelVector.append(1)
        elif listFromLine[-1] == 'smallDoses':
            classLabelVector.append(2)
        elif listFromLine[-1] == 'largeDoses':
            classLabelVector.append(3)
        index += 1
    return returnMat,classLabelVector

datingDataMat,datingLabels = file2matrix('datingTestSet.txt')

print(datingDataMat)
print(datingLabels)

在这里插入图片描述

4.2 分析数据

在这里插入图片描述
里程数和游戏，数据特征

plt.scatter(datingDataMat[:,0],datingDataMat[:,1],c=datingLabels) # 第一列里程和第二列打游戏，散点图，用不同颜色标记三种标签
plt.show()

在这里插入图片描述
里程数和吃冰淇凌，数据特征

plt.scatter(datingDataMat[:,0],datingDataMat[:,2],c=datingLabels) 
plt.show()

在这里插入图片描述

打游戏和吃冰淇凌，数据特征

plt.scatter(datingDataMat[:,1],datingDataMat[:,2],c=datingLabels) 
plt.show()

在这里插入图片描述

4.3 数据归一化处理

在这里插入图片描述
在这里插入图片描述

# 数据归一化
def autoNorm(dataSet):
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)
    normDataSet = np.zeros(dataSet.shape)
    normDataSet = (dataSet-minVals)/(maxVals-minVals)
    return normDataSet

在这里插入图片描述

datingDataMat,datingLabels = file2matrix('datingTestSet.txt')
dataSet=autoNorm(datingDataMat)
print(dataSet)

在这里插入图片描述

4.4 测试KNN分类器模型

在这里插入图片描述

#分类器模型训练集 测试集
m = 0.8 #设置训练集的比例
dataSize = dataSet.shape[0] #取数据的全部行
trainSize = int(m*dataSize)
testSize = int((1-m)*dataSize)+1  # 199.9999python向下取整，199，故加1
print('数据总行数 ：',dataSize,'  训练集 ：',trainSize,' 测试集 :',testSize)
k=5
result=[]
error=0
for i in range(testSize):
    result=K.knn(dataSet[trainSize+i,:],dataSet[:trainSize,:],datingLabels[:trainSize],k)
    if result != datingLabels[trainSize+i]:
        error=+1
         
print('错误率 ：',error/testSize)

在这里插入图片描述

在这里插入图片描述

4.5 完整程序

KNN 函数

def knn(inX,dataSet,labels,k): 
    
    # 计算未知样本和每个训练集样本的距离
    dis=(((dataSet-inX)**2).sum(1))**0.5 
    sortedDis=dis.argsort() #将距离升序排序 ;得到的是，索引排序
    
    #选取距未知样本最近的k个点，统计前k个点所在类别出现的次数
    classCount={}#建立一个空字典，存储电影类型出现的次数
    for i in range(k):
        votelabel=labels[sortedDis[i]]#filmtype的类型labels作为投票标签；通过labels的索引值 （排序的索引当作labels的索引），统计filmtype的类型
        classCount[votelabel]=classCount.get(votelabel,0)+1 #原来的结果从0开始，每次在对应的类型统计上加1
    
    # 多数表决投票
    maxType=0
    maxCount=-1
    for key ,value in classCount.items():
        if value >maxCount:
            maxType=key
            maxCount=value
    return maxType

数据处理（转为为矩阵），归一化，分类器模型训练集 测试集，调用

import numpy as np 
import matplotlib.pyplot as plt 
import knn as K

# 文件转矩阵处理
def file2matrix(filename):  
    fr = open(filename)  
    numberOfLines = len(fr.readlines())      
    returnMat = np.zeros((numberOfLines,3))        
    classLabelVector = []     # 创建空的向量存放分类标签                  
    fr = open(filename)  
    index = 0 
    for line in fr.readlines():
        line = line.strip()  #删除每行头尾的空白字符
        listFromLine = line.split('\t') # 每行的四个元素是以tab分开的，进行切片 
        returnMat[index,:] = listFromLine[0:3]  #将前三列存储在Mat矩阵中
        if listFromLine[-1] == 'didntLike':
            classLabelVector.append(1)
        elif listFromLine[-1] == 'smallDoses':
            classLabelVector.append(2)
        elif listFromLine[-1] == 'largeDoses':
            classLabelVector.append(3)
        index += 1
    return returnMat,classLabelVector

# 数据归一化
def autoNorm(dataSet):
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)
    normDataSet = np.zeros(dataSet.shape)
    normDataSet = (dataSet-minVals)/(maxVals-minVals)
    return normDataSet


datingDataMat,datingLabels = file2matrix('datingTestSet.txt')
dataSet=autoNorm(datingDataMat)
print(dataSet)

#分类器模型训练集 测试集
m = 0.8 #设置训练集的比例
dataSize = dataSet.shape[0] #取数据的全部行
trainSize = int(m*dataSize)
testSize = int((1-m)*dataSize)+1  # 199.9999python向下取整，199，故加1
print('数据总行数 ：',dataSize,'  训练集 ：',trainSize,' 测试集 :',testSize)
k=5
result=[]
error=0
for i in range(testSize):
    result=K.knn(dataSet[trainSize+i,:],dataSet[:trainSize,:],datingLabels[:trainSize],k)
    if result != datingLabels[trainSize+i]:
        error=+1
         
print('错误率 ：',error/testSize)

5 鸢尾花分类（练习）

在这里插入图片描述

6 KNN算法总结

为什么Y分类，KNN失效呢 ？
在这里插入图片描述

6.1 KNN优点

在这里插入图片描述

6.2 KNN缺点

在这里插入图片描述

在这里插入图片描述

R-G-B
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
机器学习--分类算法--KNN算法理论
weixin_35733800的博客
03-25 300
1 KNN算法原理 从训练集中获取K个离待预测样本最近的数据样本 根据获取得到的K个样本数据预测当前待预测样本的目标属性（分类与回归的目标属性） 2 KNN算法中最重要的三个影响因素 1）K值的选择 一般而言，依据样本分布选择一组K值，通过交叉验证的方式，选择合适的K值 2）距离的度量 一般采用欧式距离 3）决策规则 针对分类问题，采用多数表决法或者加权多数表决法 针对回归问题，...
机器学习-分类器算法-kNN
sinat_38005617的博客
04-13 2385
首先，机器学习有众多算法，监督，无监督，聚类，回归......，初学者看到这么多的算法想必跟我一样头都晕了，到底在处理实际问题时候要怎么从这么多的算法中选择一个适合自己问题的方法，那么我们就对它们简单的归一下类，根据我们实际中的使用目的，可以得出下面的导图，举例说明，如果我现在需要预测一个地区的房价，那么按下图的指示，我们应该选择一个监督学习模型，那么我们再来看下一步，我们的目标变量房价显然是一个
机器学习常用分类算法_python实践(分类这一篇就够了)
李梦瑶的博客
09-11 1862
这篇文章不涉及原理，直接上代码运行。结合之前的文章《数据挖掘建模流程和所需工具汇总》效果更佳ノ~ＹＯ(＾Ｕ＾) 一、导入所需的包 建模主要工作就是调包调参，你懂的(●’◡’●) from __future__ import print_function #把下一个新版本的特性导入到当前版本 import statsmodels.api as sm #statsmodels统计建模和计量经济学工具包，包括一些描述统计、统计模型估计和推断 import pandas as pd, numpy as np #p
机器学习—分类算法的对比实验
ex_6450的博客
08-05 2703
对各种机器学习分类算法进行对比，以鸢尾花数据集为例，我们从绘制的分类边界效果以及实验评估指标（Precision、Recall、F1-socre）分别进行对比。# 第一步，数据准备 from sklearn import datasets # 引入iris数据 import numpy as np。...
机器学习算法-knn分类算法与应用
woaini886353的博客
05-10 2490
1. kNN分类算法原理 1.1 概述 K最近邻（k-Nearest Neighbor，KNN）分类算法是最简单的机器学习算法。[dht1] KNN算法的指导思想是“近朱者赤，近墨者黑”，由你的邻居来推断出你的类别。 本质上，KNN算法就是用距离来衡量样本之间的相似度 1.2 算法图示 从训练集中找到和新数据最接近的k条记录，然后根据多数类来决定新数据类别。 算法涉及3个主要因素： 训练数据集 距离或相似度的计算衡量 k的大小 算法描述 已知两类“先验”数据，分别是蓝方块.
《机器学习实战》整理--分类算法（1）
Icevivian
01-30 1472
12月中旬到1月下旬，花了一个半月的时间，终于将《机器学习实战》这本书配合《cs229》课程学完了。现将这本书的主要内容线整理如下。 每看一本书，我会很仔细看书的第一章，相当于论文的introduction部分，会介绍这本书主要讲了些什么，以及书的组成逻辑是什么。从这本的第一章《机器学习基础》中可以了解到，机器学习横跨计算机科学、工程技术和统计学等多个学科，需要多学科的专业知识。机器学习就是把无...
机器学习-kNN算法
12-15
kNN，全称为K最近邻（K-Nearest Neighbors），是机器学习领域中最基础且直观的算法之一。它属于监督学习方法，主要用于分类和回归问题。kNN算法基于一个简单的思想：未知类别的样本可以被分类为其最近的k个已知类别...
机器学习-KNN算法实现
11-02
机器学习中的KNN（K-Nearest Neighbors）算法是一种基于实例的学习，也被称为懒惰学习，因为它在预测阶段才进行计算。KNN的核心思想是：一个样本的类别由其最近邻的K个样本的类别决定，其中K通常取奇数以避免平局。...
机器学习-knn分类算法与应用.docx
07-18
### KNN分类算法原理及其Python实战 #### 一、KNN分类算法原理 **1.1 概述** K最近邻(K-Nearest Neighbor, KNN)是一种基于实例的学习...通过Python编程实现KNN算法可以帮助更好地理解和掌握其工作原理及应用场景。
机器学习实战 - k近邻算法（KNN算法）总结
04-12
机器学习实战 - k近邻算法（KNN算法）总结 适合机器学习实战入门新手 K-近邻算法，又称为 KNN 算法，是数据挖掘技术中原理最简单的算法。 KNN 的工作原理：给定一个已知类别标签的数据训练集，输入没有标签的新数据...
机器学习报告-基于PCA和KNN算法的毒蘑菇分类预测实验报告-机器学习高分大作业
11-18
报告概述了基于PCA（主成分分析）和KNN（K最近邻）算法的毒蘑菇分类预测实验，旨在解决误食毒蘑菇导致的安全问题。...同时，实验报告也展示了机器学习在实际问题中的应用，有助于加深对机器学习算法的理解和实践。
机器学习：集成学习之随机森林
纸上得来终觉浅
08-26 1269
集成学习之随机森林
机器学习之------RNN循环神经网络
最新发布
qq_52191127的博客
08-26 924
Jordan网络可以得到比较好的性能，因为Elman网络的隐藏层是没有target的，比较难控制它学到了什么信息，但是Jordan网络的输出y是有target的，可以对放在memory中的是什么东西比较清楚的。用双向RNN的好处，就是网络产生输出的时候，看的范围比较广。如果只有正向的RNN，在产生yt+1yt+1的时候，网络只看过x1x1一直到xt+1xt+1，但是如果是双向的RNN，在产生yt+1yt+1的时候，网络不只是看过x1x1一直到xt+1xt+1，也看了从句尾一直到xt+1xt+1。
【机器学习】经典CNN架构
鑫宝的博客
08-22 2529
本文介绍了几种经典的CNN架构,包括LeNet、AlexNet、VGGNet、GoogLeNet和ResNet等。这些架构不断推进了CNN的发展,提出了诸如卷积、池化、残差连接等创新技术,极大地提高了CNN在计算机视觉等领域的性能。未来,CNN仍将在各个领域发挥重要作用。
第八周：机器学习
benbenxinchen的博客
08-25 870
前两周学习了CNN的基本架构，针对全局信息的考虑问题，提出了注意力机制。本周围绕注意力机制和自注意力机制的概念和计算流程进行理解和推导。当前深度学习比较常用的是自注意力机制， 可以解决”神经网络建立多个输入之间的相关性“问题，所以本周还对自注意力机制的具体计算步骤进行详细推导。最后，根据实际需要提出了多头自注意力机制，并且比较了卷积神经网络和 自注意力机制的优缺点。本周主要围绕注意力机制和自注意力机制进行学习，下周将学习 RNN，并且将其与自注意力机制进行对比分析。
【IEEE】第五届机器学习与计算机应用国际学术会议（ICMLCA 2024，10月18-20）
ai_1020的博客
08-22 1272
IEEE |第五届机器学习与计算机应用国际学术会议 2024 5th International Conference on Machine Learning and Computer Application（ICMLCA 2024）
《机器学习》—— OpenCV 对图片的各种操作
weixin_73504499的博客
08-25 1299
1、安装OpenCV库、2、读取、显示、查看图片、3、对图片进行切割、4、改变图像的大小、5、图片打码、6、图片组合、7、图像运算、8、图像加权运算
python学习10-机器学习了解
woyebuzhidao321的博客
08-26 612
机器学习（Machine Learning）是一种人工智能的分支，它使计算机系统能够通过学习和经验改进性能，而不必进行显式的编程。机器学习的目标是使计算机系统具备从数据中提取模式、进行预测和做出决策的能力，而无需显式地编写规则。机器学习的核心思想是通过训练模型来实现任务。训练模型意味着使用输入数据和相关的标签（或答案）来调整模型的参数，以便模型能够准确地对新数据进行预测。这种学习过程可以分为监督学习、无监督学习和强化学习等不同类型。
【机器学习】联邦学习技术
2301_79181030的博客
08-22 1590
联邦学习是一种分布式机器学习范式，其核心思想是利用分散在各参与方的数据集，通过隐私保护技术融合多方数据信息，协同构建全局模型。在模型训练过程中，各参与方仅交换模型参数、梯度等中间结果，而本地训练数据则不会离开本地，从而大大降低了数据泄露的风险。自治和联合。自治：各参与方在本地使用自己的数据进行模型训练，得到各自的模型参数。联合：各参与方将本地训练的模型参数上传至中心服务器（或采用去中心化方式），中心服务器进行模型参数的聚合与更新，并将更新后的参数分发回各参与方，进行下一轮迭代。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

R-G-B

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值