机器学习实战：近邻算法

最新推荐文章于 2024-05-23 08:59:26 发布
最新推荐文章于 2024-05-23 08:59:26 发布
阅读量279 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43141661/article/details/89605111
版权

2.1k-近邻算法

k-近邻算法采用测量不同特征值之间的距离方法进行分类

k-近邻算法优缺点

​ 优点:精度高 、对一异常值不敏感、无数据输入假定

 缺点：计算复杂度高、空间复杂度高

​ 适用数据范围：数值型和标称型

k-近邻工作原理
   存在一个样本数据集合（训练样本集），每个数据都有标签。输入没有标签的数据，新数据的每个特征与样本进行比较，然后找最相似的。一般来说我们只	选前k 个（<u>k通常是不大于20的整数</u>），最后，选择k个最相似数据中出现最多的分类，作为新数据的分类

from numpy import *
import operator
import KNN2
def createDataSet():
    #这里的两个是对应好的
    group=array([[1.0,1.1],[1.0,1.0],[0.0,0.0],[0,0.1]])
    labels=['A','A','B','B']
    return group,labels

group,labels=createDataSet()
out=KNN2.classify0([0,0],group,labels,3)
print(out)

import numpy as np
import operator

def classify0(inX,dataSet,labels,k):
    #得到数据的组数
    dataSize=dataSet.shape[0]

    #得到分类数据组,用于计算向量
    sortedData=np.tile(inX,(dataSize,1))

    #计算向量
    VectorData=sortedData-dataSet

    #计算平方
    sqVectorData=VectorData**2

    #计算行数据的和,得到距离的平方
    SumsqVector=sqVectorData.sum(axis=1)

    #计算距离,即开方
    SqrtSum=SumsqVector**0.5

    print(SqrtSum)

    #排序,这里的argsort返回的是索引值
    SortSqrtSum=SqrtSum.argsort()

    print(SortSqrtSum)

    #选择前k个点
    classCount={}

    for i in range(k):
        #形成新的标签
        newLabel=labels[SortSqrtSum[i]]
        #计算相同代表距离的标签出现的次数
        classCount[newLabel]=classCount.get(newLabel,0)+1

    sortedclassCount=sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
    print(sortedclassCount)
    return sortedclassCount[0][0]
机器学习实战第一章
from numpy import *
import operator
import matplotlib.pyplot as plt
from os import listdir


#inx是测试集,dataSet是训练集,labels是训练集对应的标签
def classify0(inX,dataSet,labels,k):

    #得到数据的组数
    dataSize=dataSet.shape[0]

    #得到分类数据组,用于计算向量
    sortedData=tile(inX,(dataSize,1))

    #计算向量
    VectorData=sortedData-dataSet

    #计算平方
    sqVectorData=VectorData**2

    #计算行数据的和,得到距离的平方
    SumsqVector=sqVectorData.sum(axis=1)

    #计算距离,即开方
    SqrtSum=SumsqVector**0.5

   # print(SqrtSum)

    #排序,这里的argsort返回的是索引值
    SortSqrtSum=SqrtSum.argsort()

   # print(SortSqrtSum)

    #选择前k个点
    classCount={}

    for i in range(k):

        #得到距离最近的数据的标签
        newLabel=labels[SortSqrtSum[i]]

        #将标签给classCount,并且计算相同代表距离的标签出现的次数
        classCount[newLabel]=classCount.get(newLabel,0)+1

    #itemgetter(1)指的是获取字典第一个域的值,即次数
    sortedclassCount=sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)

    #print(sortedclassCount)

    #将次数最多的返回
    return sortedclassCount[0][0]

#打开文件,过滤数据
def file2matrix(filename):
    #打开文件
    fr=open(filename)

    #读取文件中的文本
    arrayOLines=fr.readlines()

    #得到文件数目
    numberOfLines=len(arrayOLines)

    #创建一个矩阵 n行3列
    returnMat=zeros((numberOfLines,3))

    #定义一个空矩阵
    classLabelVector=[]

    #下标为0
    index=0

    #读取每一行的数据
    for line in arrayOLines:
        #去掉空格
        line=line.strip()

        #以'\t'作为分隔符
        listFromLine=line.split('\t')

       # print(listFromLine)
        #第index行的数据存入returnMat,除了末尾的类型
        returnMat[index,:]=listFromLine[0:3]

       # print(returnMat)

        #将数据进行分类
        labels = {'1': 1, '2': 2, '3': 3}

        #无法将字符串直接转化为int,这里是在列表尾部增加,将数据的类型即标签存入classLabelVector
        classLabelVector.append(labels[listFromLine[-1]])

        #classLabelVector.append(listFromLine[-1])
        index+=1
    return returnMat,classLabelVector

#归一化特征值:(oldValue-min)/(max-min)
def autoNorm(dataSet):

    #取出每一列中最小的值
    minVals=dataSet.min(0)

    #取出每一列中的最大的值
    maxVals=dataSet.max(0)

    #取值范围
    ranges=maxVals-minVals

    #创建一个0矩阵,以dataset为模板
    normDataSet=zeros(shape(dataSet))

    #取出行的长度
    m=dataSet.shape[0]

    #向行的方向复制,并且减去最小值
    normDataSet=dataSet-tile(minVals,(m,1))

    #除去范围值
    normDataSet=normDataSet/tile(ranges,(m,1))

    return normDataSet,ranges,minVals

#测试函数
def datingClassTest():
    #选择前百分之十作为测试集
    hoRatio=0.10

    #打开数据集
    datingDataMat,datingLabels=file2matrix('datingTestSet.txt')

    #将数据集归一化
    normMat,ranges,minVals=autoNorm(datingDataMat)

   #m得到的是数据集的组数
    m=normMat.shape[0]

    #得到前百分之十的组数的位置
    numTestVecs=int(m*hoRatio)

    #错误的数量
    errorCount=0.0

    #前numTestVecs的数据进行测试,后numTestVecs的数据作为训练集
    for i in range(numTestVecs):

        #返回每个数据的标签
        classifierResult=classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],7)

        #输出数据的结果类型与真实类型
        print("the classifier came back with %d,the real answer is:%d"\
              %(classifierResult,datingLabels[i]))

        #如果对应类型错了,就加一
        if(classifierResult!=datingLabels[i]):errorCount+=1.0

        #输出错误的百分率
    print("the total error rate is : %f" %(errorCount/float(numTestVecs)))

#预测函数
def classifyPerson():

    resultList=['not at all','in small doses','in large doses']

    #获取三个数值,用于计算结果
    percentTats=float(input("percentage of time spent playing video games?"))
    ffMiles=float(input("frequent flier miles earned per year?"))
    iceCream=float(input("liters of ice cream consumed per year?"))

    #打开训练集
    datingDataMat,datingLabels=file2matrix('datingTestSet2.txt')

    #归一化数据集
    normMat,ranges,minVals=autoNorm(datingDataMat)

    # 输出数据
    # print(datingDataMat)
    fig = plt.figure()
    ax = fig.add_subplot(111)
    ax.scatter(normMat[:, 1], normMat[:, 2], 15.0 * array(datingLabels), 15.0 * array(datingLabels))

    #将获得的三个数据存到列表
    inArr=array([ffMiles,percentTats,iceCream])

    #归一化得到的数据
    inArrto1=(inArr-minVals)/ranges

    #通过knn算法得到结果
    classiFierResult=classify0(inArrto1,normMat,datingLabels,3)

    #输出结果
    print("You will probably like this person:"+str(resultList[classiFierResult-1]))

    #将训练集的数据输出
    plt.show()

#这个函数将文件中的32*32的数据转化成1*1024
def img2vector(filename):

    #先建一个1*1024的列表
    returnVect=zeros((1,1024))

    #打开文件
    fr=open(filename)

    #这里一行一行读取,并一个数据一个数据存入
    for i in range(32):

        #读取一行
        lineStr=fr.readline()
        #print(lineStr)

        #将行中的数据存入列表
        for j in range(32):
            returnVect[0,32*i+j]=int(lineStr[j])

    #返回列表
    return returnVect

#测试代码
def handwritingClassTest():

    #声明空标签
    hwLabels=[]

    #得到文件夹中的文件名所组成的列表
    trainingFileList=listdir('trainingDigits')

    #print(trainingFileList)
    
    #得到文件名的数目
    m=len(trainingFileList)
    
    #搞一个m行1024列的矩阵
    trainingMat=zeros((m,1024))
    
    
    for i in range(m):
        
        #对每一个txt文件中的数据进行读入
        fileNameStr=trainingFileList[i]
        
        #分割文件名
        fileStr=fileNameStr.split('.')[0]
        
        #再次分割
        classNumStr=int(fileStr.split('_')[0])
        
        #形成标签
        hwLabels.append(classNumStr)
        
        #将数据读取进来
        trainingMat[i,:]=img2vector('trainingDigits/%s'% fileNameStr)
        
    #读取测试数据的文件名
    testFileList=listdir('testDigits')
    
    #标记出错的数量
    errorCount=0.0
    
    #测试数据文件量
    mTest=len(testFileList)
    
    #对测试数据进行处理
    for i in range(mTest):
        
        #形成文件名标签
        fileNameStr=testFileList[i]
        fileStr=fileNameStr.split('.')[0]
        classNumStr=int(fileStr.split('_')[0])
        
        #得到数据
        vectorUnderTest=img2vector('testDigits/%s' % fileNameStr)
        
        #对数据进行匹配并输出类型
        classifierResult=classify0(vectorUnderTest,trainingMat,hwLabels,3)
        
        #输出
        print("the classifier came back with:%d,the real answer is : %d" % (classifierResult,classNumStr))
        
        #计算数据出错量
        if(classifierResult!=classNumStr):errorCount+=1.0
    
    #输出
    print("\nthe total number of errors is : %d" % errorCount)
    print("\nthe total error rate is : %f "%(errorCount/float(mTest)))

handwritingClassTest()
BlackMZ
关注
k_近邻算法
02-25
随着人工智能的不断发展，机器学习汇集了多种算法，k-近邻算法作为其中一种经典算法，值得学习。
K-近邻算法
热门推荐
PCGuo999的博客
07-21 1万+
学习笔记
k-近邻算法
weixin_34346099的博客
08-23 86
title: k-近邻算法 tags: 微信 notebook: @Inbox --- 近朱者赤近墨者黑 概述 输入为实例的特征向量，对应于特征空间的点；输出为实例的类别，可以取多类。假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其 k 个最近邻的训练实例的类别，通过多数表决等方式进行预测，不具有显式的学习过程。 k 近邻算法实际上利用训练数据集对特征向量空间进行划分...
近邻算法详解
最新发布
runqu的博客
05-23 990
近邻算法（k-Nearest Neighbors，简称k-NN）是一种常用的机器学习算法，用于分类和回归问题。它的基本思想是根据样本之间的相似性来进行预测。在分类问题中，k-NN算法会将待预测样本的k个最近邻样本的标签进行统计，然后将出现次数最多的标签作为预测结果。在回归问题中，k-NN算法会将待预测样本的k个最近邻样本的标签进行加权平均，然后将得到的平均值作为预测结果。
近邻算法
T752462536的博客
04-22 397
近邻算法 1.K近邻算法简介 1.1 问题 ​ 分类或者回归问题 1.2 定义 ​ 如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。 1.3 距离 ​ 欧式距离 1.4 分类流程 ​ 目标：预测未知样本所属的分类 计算未知样本到每一个训练样本的距离 将训练样本根据距离大小升序排列 取出距离最近的 K 个训练样本 进行多数表决，统计 K 个样本中哪个类别的样本个数最多 将未知的样本归属到出现次数最多的类别 1.5 回归案例 ​ 目标：预测未
机器学习实战 - k近邻算法（KNN算法）总结
04-12
机器学习实战 - k近邻算法（KNN算法）总结 适合机器学习实战入门新手 K-近邻算法，又称为 KNN 算法，是数据挖掘技术中原理最简单的算法。 KNN 的工作原理：给定一个已知类别标签的数据训练集，输入没有标签的新数据...
机器学习实战_K近邻算法 ——手写数字预测（sklearn api）
12-22
机器学习实战_K近邻算法 ——手写数字预测 调用的是自己编写的分类器classify0，主要是为了学习理论原理；在实际是项目中通常调用工具包的api接口，比如sklearn，这也体现了python的一个便利性，不用总是自己造轮子...
机器学习实战-k-近邻算法改进约会网站的配对效果
08-15
在本实践项目中，我们将深入探讨如何利用机器学习中的k-近邻算法（K-Nearest Neighbors，简称KNN）来改进约会网站的配对效果。KNN是一种非参数监督学习方法，常用于分类和回归任务。在这个案例中，我们将关注其在...
人工智能：近邻算法
Nothenhe的博客
02-24 290
K近邻算法 什么是k近邻算法？ 定义：如果一个样本在特征空间中的K个最相似（空间中最邻近）的样本中的大多数属于某一个类别，则该样本也属于这个类别 来源：KUN算法最早是由Cover和Hart提出的一种分类算法 计算距离公式 两个样本的距离可以通过如下公式计算，又叫欧式距离 比如说，a(a1,a2,a3) b(b1,b2,b3) 注意 K近邻算法需要做标准化 API sklearn.neighb...
机器学习-近邻算法总结
qq_22247993的博客
03-17 2473
机器学习近邻算法总结
机器学习之近邻算法
weixin_47166032的博客
09-25 1170
并不哈哈
近邻算法分类
微信号：RunsenLiu
06-03 1287
scikit-learn已经封装好很多数据挖掘的算法 现介绍数据挖掘框架的搭建方法 转换器（Transformer）用于数据预处理，数据转换 流水线（Pipeline）组合数据挖掘流程，方便再次使用（封装） 估计器（Estimator）用于分类，聚类，回归分析（各种算法对象） 所有的估计器都有下面2个函数 fit() 训练 用法：estimator.fit(X_train, y_train...
近邻算法KNN(带你原理 实践）
2303_79387663的博客
03-04 1218
近邻算法是一种简单而有效的监督学习算法，在许多领域都有广泛的应用。然而，它也存在一些缺点，如计算量大、维数灾难等。未来可以研究如何优化距离计算、降低算法复杂度、处理高维数据等问题，以提高近邻算法的性能和应用范围。同时，也可以探索将近邻算法与其他机器学习算法相结合的方法，以充分利用各自的优点，提高预测精度和稳定性。
机器学习分类算法(二)-KNN(近邻)算法
猫敷雪
07-07 1837
一、简单k-近邻算法 本文将从k-近邻（kNN）算法的思想开始讲起.并且，并会提供相应的数据集。除此之外，也会对sklearn实现k-近邻算法的方法进行讲解。 并配备一定的实战实例 电影类别分类 约会网站配对效果判定 手写数字识别。 1、k-近邻法简介 k近邻法(k-nearest neighbor, k-NN)是一种基本分类与回归方法。 它的工作原理是：存在一个样本数据集合，也称作为训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后，将
机器学习之——K近邻（KNN）算法
m0_63916929的博客
10-09 5203
KNN是一种基于实例的学习算法，它根据训练样本的特征和对应的类别标签，通过计算测试样本与训练样本之间的距离来进行分类预测。本次实验使我们了解了K近邻算法的基本原理，概念模型以及算法流程，学会了如何使用KNN算法来解决一些简单的分类问题，解决问题：在导入数据源后输出打印资源矩阵与标签矩阵时标签矩阵输出全为0，或者是显示字符串转换为float类型失败，在查找问题后发现是资源文件中数据的储存必须按照float型进行存储，否则资源数据读取有误，无法正常导入，
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值