【机器学习实战学习笔记】k-近邻算法

最新推荐文章于 2024-02-05 23:29:58 发布
最新推荐文章于 2024-02-05 23:29:58 发布
阅读量141 收藏 1
点赞数
分类专栏： 机器学习实战 学习笔记 文章标签： 机器学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41772794/article/details/108758606
版权

【机器学习实战——k-近邻算法】

工作原理

存在一个样本数据集合，并且样本集合中每个数据都存在标签，即知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据的分类标签
**一般k不大于20

特点

–优点：（1）精度高
（2）对异常值不敏感
（3）无数据输入假定
–缺点：计算复杂度高、空间复杂度高
–适用数据范围：数值型和标称型
注：
标称型数据：一般在有限的数据中取，而且只存在“是”和“否”两种不同的结果，一般用于分类问题
数值型数据：可以在无限的数据中取，而且数据比较具体化，一般用于回归问题

一般流程

（1）收集数据：可以使用任何方法
（2）准备数据：距离计算所需要的数值，最好是结构化的数据格式
（3）分析数据：可以使用任何方法
（4）训练方法：可略过
（5）测试算法：计算错误率
（6）使用算法：首先需要输入样本数据和结构化的输出结果，然后运行k-近邻算法判定输入数据分别属于哪个分类，最后应用对计算出的分类执行后续的处理

使用算法过程

对未知类别属性的数据集中的每个点依次执行以下操作：
（1）计算已知类别数据集中的点与当前点之间的距离
（2）按照距离递增次序排序
（3）选取与当前点距离最小的k个点
（4）确定前k个点所在类别的出现频率
（5）返回前k个点出现频率最高的类别作为当前点的预测分类

示例1

假设有4个点，（1,1.1）、（1,1）、（0，0）、（0,0.1），假设有一个新的点，对这个新点进行k-近邻分类

from numpy import *
import operator

def createDataSet():
    group = array([[1.0,1.1],
                   [1.0,1.0],
                   [0,0],
                   [0,0.1]])
    labels = ['A','A','B','B']
    return group,labels

def classify0(inX,dataSet,labels,k):
    dataSetSize = dataSet.shape[0] # 获取有多少个数据
    # 算出距离
    diffMat = tile(inX,(dataSetSize,1)) - dataSet #tile(A,n) 将数组A重复n次，以此算出差值即计算出(X1-X2)和(Y1-Y2)
    sqDiffMat = diffMat ** 2
    sqDistance = sqDiffMat.sum(axis=1)  #算出 (X1-X2)^2 + (Y1-Y2)^2
    distances = sqDistance ** 0.5
    sortedDistIndices = distances.argsort()
    # 截取前k个
    classCount = {}
    for i in range(k):
        voteLabel = labels[sortedDistIndices[i]]
        classCount [voteLabel] = classCount.get(voteLabel,0) + 1
    # 选出频率最高的
    sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
    return sortedClassCount[0][0]

if __name__ == '__main__':
    group,labels = createDataSet()
    inX = [0,0]
    print(classify0(inX=inX,dataSet=group,labels=labels,k=3))

如果新点为[0,0]（举例），则分类结果为B：

在这里插入图片描述

若新点为[7,8]（举例），则分类结果为A：

在这里插入图片描述

示例2

使用k-近邻算法改进约会网站的配对效果

一般流程

（1）收集数据：提供文本文件
（2）准备数据：使用Python解析文本文件
（3）分析数据：使用matplotlib画图
（4）训练算法：略过
（5）测试算法：使用所提供的的部分数据作为测试样本
（6）使用算法：产生简单的命令行程序，而后自行进行测试

数据：
数据存放在txt中


数据格式：每年获得的飞行常客里程数；玩视频游戏所消耗时间百分比；每周消费的冰激凌公升数；类别分类
类别分为3类：1-不喜欢的人；2-魅力一般的人；3-极具魅力的人

from numpy import *
import matplotlib
import matplotlib.pyplot as plt


def file2matrix(filename):
    fr = open(filename)
    arrayLines = fr.readlines()
    numberOfLines = len(arrayLines)
    returnMat = zeros((numberOfLines,3))
    classLabelVector = []
    index = 0
    for line in arrayLines:
        line = line.strip().split('\t')
        returnMat[index,:] = line[0:3]
        classLabelVector.append(int(line[-1]))
        index += 1
    return returnMat,classLabelVector

if __name__ == '__main__':
    datingDataMat,datingDataLabel = file2matrix('datingTestSet2.txt')
    fig = plt.figure()
    ax = fig.add_subplot(111)
    ax.scatter(datingDataMat[:,1],datingDataMat[:,2]) # 使用datingDataMat矩阵的第二、第三列数据
    plt.show()

最终画出来的数据点是这样的…
在这里插入图片描述
为了分出不同类别的数据，采用以下代码：

ax.scatter(datingDataMat[:,1],datingDataMat[:,2],15.0*array(datingDataLabel),15.0*array(datingDataLabel))

结果是这样的…
在这里插入图片描述
如果选取第一、第二列的特征，是这样的…
在这里插入图片描述
如果选取的是第一、第三列，结果是这样的…
在这里插入图片描述
∴ 选取第一、第二个特征比较好~

在datingTestSet2.txt文件上测试分类器

from numpy import *
import operator

"""
Fuction:
    将txt分解为特征值和标签值两个矩阵
Patameters：
    filename：数据文件
Output/Return：
    returnMat：特征矩阵
    classLabelVector：标签值
"""
def file2matrix(filename):
    fr = open(filename)
    arrayLines = fr.readlines()
    numberOfLines = len(arrayLines)
    returnMat = zeros((numberOfLines,3))
    classLabelVector = []
    index = 0
    for line in arrayLines:
        line = line.strip().split('\t')
        returnMat[index,:] = line[0:3]
        classLabelVector.append(int(line[-1]))
        index += 1
    return returnMat,classLabelVector

"""
Funtion:
    数据归一化
Parameters：
    dataSet：特征矩阵
Output/Return：
    normDataSet：归一化后的特征矩阵
    ranges：变化范围
    minVals：每一特征的最小值
"""
def autonorm(dataSet):
    minVals = dataSet.min()
    maxVals = dataSet.max()
    ranges = maxVals - minVals
    normDataSet = zeros(shape(dataSet))
    m = dataSet.shape[0]
    normDataSet = dataSet - tile(minVals,(m,1))
    normDataSet = normDataSet / tile(ranges,(m,1))
    return normDataSet,ranges,minVals

"""
Funtion：
    k-近邻分类器
Parameters：
    inX：测试样本的特征矩阵
    dataSet：训练样本的特征矩阵
    labels：训练样本的标签
    k：截取前k个“答案”值
Output/Return：
    sortedClassCount：根据各个标签在答案中的出现频率，选择最高的频率对应的标签作为分类答案
"""
def classify0(inX,dataSet,labels,k):
    dataSetSize = dataSet.shape[0] # 获取有多少个数据
    # 算出距离
    diffMat = tile(inX,(dataSetSize,1)) - dataSet #tile(A,n) 将数组A重复n次，以此算出差值即计算出(X1-X2)和(Y1-Y2)
    sqDiffMat = diffMat ** 2
    sqDistance = sqDiffMat.sum(axis=1)  #算出 (X1-X2)^2 + (Y1-Y2)^2
    distances = sqDistance ** 0.5
    sortedDistIndices = distances.argsort()
    # 截取前k个
    classCount = {}
    for i in range(k):
        voteLabel = labels[sortedDistIndices[i]]
        classCount [voteLabel] = classCount.get(voteLabel,0) + 1
    # 选出频率最高的
    sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
    return sortedClassCount[0][0]

"""
Function：
    测试分类器性能
Output：
    错误率
"""
def datingClassTest():
    ratio = 0.1
    datingDataMat,datingLabels = file2matrix('datingTestSet2.txt')
    normMat,ranges,minVals = autonorm(datingDataMat)
    m = normMat.shape[0]
    numTestVec = int(m * ratio)  # 按比例划分测试集
    errorCount = 0.0 # 设置成浮点数，若是整数，则计算百分比只能计算得出0（整数除法--截取），如果是浮点数，则可正确得到百分比
    for i in range(numTestVec):
        classifierResult = classify0(normMat[i,:],normMat[numTestVec:m,:],datingLabels[numTestVec:m],3)
        print("The classifier came back with : %d,the real answer is:%d" % (classifierResult,datingLabels[i]))
        if classifierResult != datingLabels[i]:
            errorCount += 1.0
    print("The total error rate is %f" % (errorCount / numTestVec))


if __name__ == '__main__':
    datingClassTest()

结果：

在这里插入图片描述

错误率：

在这里插入图片描述

示例3

手写识别系统
训练数据和测试数据的格式是txt文件，用1和0两个数值表示，以此来显现不同的手写字体

在这里插入图片描述

from numpy import *
import operator
import os

"""
Funtion:
    将txt文件中的数据存放在数组中
Parameters:
    filename: 存放手写字体的txt文件
Output/Return：
    returnVec: 返回存储的数组
"""
def img2vector(filename):
    returnVec = zeros((1,1024))
    fr = open(filename)

    for i in range(32):
        line = fr.readline()
        for j in range(32):
            returnVec[0,32 * i + j] = int(line[j])
    return returnVec

"""
Funtion：
    k-近邻分类器
Parameters：
    inX：测试样本的特征矩阵
    dataSet：训练样本的特征矩阵
    labels：训练样本的标签
    k：截取前k个“答案”值
Output/Return：
    sortedClassCount：根据各个标签在答案中的出现频率，选择最高的频率对应的标签作为分类答案
"""
def classify0(inX,dataSet,labels,k):
    dataSetSize = dataSet.shape[0] # 获取有多少个数据
    # 算出距离
    diffMat = tile(inX,(dataSetSize,1)) - dataSet #tile(A,n) 将数组A重复n次，以此算出差值即计算出(X1-X2)和(Y1-Y2)
    sqDiffMat = diffMat ** 2
    sqDistance = sqDiffMat.sum(axis=1)  #算出 (X1-X2)^2 + (Y1-Y2)^2
    distances = sqDistance ** 0.5
    sortedDistIndices = distances.argsort()
    # 截取前k个
    classCount = {}
    for i in range(k):
        voteLabel = labels[sortedDistIndices[i]]
        classCount [voteLabel] = classCount.get(voteLabel,0) + 1
    # 选出频率最高的
    sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
    return sortedClassCount[0][0]

"""
Function:
    手写字体识别
Output：
    错误率
"""
def handwritingClassTest():
    handwritingLabel = []
    trainingFileList = os.listdir('trainingDigits') # 获取训练集文件夹下的内容
    trainingNum = len(trainingFileList) # 获取训练集大小
    trainingMat = zeros((trainingNum,1024))
    for i in range(trainingNum):
        fileName = trainingFileList[i]
        fileStr = fileName.split('.')[0]  # 获取文件夹的名字
        classNum = int(fileStr.split('_')[0]) # 获取手写数字的具体数值
        handwritingLabel.append(classNum)
        trainingMat[i,:] = img2vector('trainingDigits/%s' % fileName)  # 将训练文件中的值存储起来
    testFileList = os.listdir('testDigits')
    errorCount = 0.0
    testNum = len(testFileList)
    for i in range(testNum):
        fileName = testFileList[i]
        fileStr = fileName.split('.')[0]
        classNum = int(fileStr.split('_')[0])
        vectorTest = img2vector('testDigits/%s' % fileName)
        classifierResult = classify0(vectorTest,trainingMat,handwritingLabel,3)
        print("The classifier result is %d,the real answer is %d" % (classifierResult,classNum))
        if classifierResult != classNum:
            errorCount += 1.0
    print("The number of wrong answer is %d" % (errorCount))
    print("The error rate is %f" % (errorCount / testNum))

if __name__ == "__main__":
    handwritingClassTest()

结果：

在这里插入图片描述
错误率：

在这里插入图片描述

JYNjyn666
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习实战笔记——k-近邻算法
yuexiahandao的专栏
09-29 320
K-近邻算法 描述 k-近邻算法采用测量不同特征值之间的距离方法进行分类。 算法特点： 优点：精度高、对异常值不敏感、无数据输入假定。 缺点：计算复杂度高、空间复杂度高。（耗时，耗计算资源，例如中间数据的存储，另外是测试对象，要和所有的样本对象进行比较，没有训练的过程，只有测试过程。）。最大的缺点就是无法给出数据的内在含义。 适用数据范围：数值型（可以通过范围进行散列）和标称型。（散列...
机器学习实战（九）K-means（K-均值）
今天你学习了吗
10-29 625
目录 0. 前言 1. K-means 2. K-means的后处理 3. 二分K-means 4. K 的选择 5. 实战案例 5.1. 原始K-means 5.2. 二分K-means 学习完机器学习实战的K-means，简单的做个笔记。文中部分描述属于个人消化后的理解，仅供参考。 本篇综合了先前的文章，如有不理解，可参考： 吴恩达机器学习（十一）K-means 所有...
k-近邻算法实践学习
蓝色之旅的博客
12-04 641
一、k-近邻算法(k-Nearest Neighbor，KNN)概述 1、简言之，k-近邻算法采用测量不同特征值之间的距离方法进行分类。 2、工作原理      存在一个样本数据集合，也称为训练样本集，且样本集中每个数据都存在标签，也就是众所周知样本集中每一数据与所属分类的对应关系。输入没有标签的新数据以后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数
机器学习实战-KNN
J的博客
12-12 473
1.KNN 概述 k-近邻（kNN, k-NearestNeighbor）算法是一种基本分类与回归方法，这里只讨论分类问题中的 k-近邻算法。 一句话总结: 近朱者赤近墨者黑！ k 近邻算法的输入为实例的特征向量，对应于特征空间的点；输出为实例的类别，可以取多类。k 近邻算法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其 k 个最近邻的训练实例的类别，通过多数表决等方式进行预测。因此，k近邻算法不具有显式的学习过程。 k 近邻算法实际上利用训练数据集对特征向量空间进行划分，并作为其
使用Kdtree加速的DBSCAN进行点云聚类
jjmjim的博客
07-01 6317
作者：姜小明 @github 日期：2020-06-28 关键字：Kdtreee, DBSCAN, PCL, 点云 DBSCAN算法适用于点云聚类，但是3d点云数据一般较大，朴素的DBSCAN算法处理起来效率很低。对此，可以通过使用Kdtree检索临近点，从而加速DBSCAN算法。 1. DBSCAN 在点云数据分析中，我们经常需要对点云数据进行分割，提取感兴趣的部分。聚类是点云分割中的一类方法（其他方法有模型拟合、区域增长、基于图的方法、深度学习方法等）。DBSCAN 是一种基于密度的聚类算法，具有抗
Python3《机器学习实战》学习笔记（一）：k-近邻算法(史诗级干货长文)
热门推荐
Jack-Cui
07-15 17万+
本文将从k-邻近算法的思想开始讲起，使用python3一步一步编写代码进行实战训练。并且，我也提供了相应的数据集，对代码进行了详细的注释。除此之外，本文也对sklearn实现k-邻近算法的方法进行了讲解。实战实例：电影类别分类、约会网站配对效果判定、手写数字识别。
机器学习实战——2.k-近邻算法
RF~or的博客
07-18 1214
2.1k-近邻算法概述 k-近邻算法采用测量不同特征值之间的距离进行分类。
《机器学习实战》学习笔记--k-近邻法
away_there的博客
10-03 261
算法思路：如果一个样本在特征空间中的k个最相似的样本中的大多数属于某一个类别则该样本也属于这个样本。 基本要素： 1 k值得选择。较小的k值可以减少近似误差，但是会增加估计误差，较大的k值可以减少估计误差，但是会增加近似误差。一般采用交叉验验证法来选取最优的k值。 2 距离度量：距离反映了特征空间中两个实例的相似程度。可以采用欧式距离和曼哈顿距离等。 3 分类决策规则：往往采用多数表决。 ...
【机器学习实战】K-近邻算法之海伦约会
最新发布
qq_43587460的博客
02-05 996
KNN算法实现海伦约会预测，机器学习实战的读书笔记。
机器学习实战-k-近邻算法改进约会网站的配对效果
08-15
机器学习实战-k-近邻算法改进约会网站的配对效果，包括KNN.py,datingTestSet.txt，datingTestSet2.txt，testknn.py
机器学习之k-近邻算法.zip
04-23
机器学习之k-近邻算法这篇blog对于的源码和数据集
机器学习实战 - k近邻算法（KNN算法）总结
04-12
机器学习实战 - k近邻算法（KNN算法）总结 适合机器学习实战入门新手 K-近邻算法，又称为 KNN 算法，是数据挖掘技术中原理最简单的算法。 KNN 的工作原理：给定一个已知类别标签的数据训练集，输入没有标签的新数据...
机器学习—K-近邻算法[入门]
12-22
k-近邻算法（k-Nearest Neighbour algorithm），又称为KNN算法，是数据挖掘技术中原理最简单的算法。 KNN的工作原理：给定一个已知标签类别的训练数据集，输入没有标签的新数据后，在训练数据集中找到与新数据最邻 ...
Go语言开发实战课后编程题
qq_41772794的博客
07-27 2478
Go语言开发实战（慕课版）课后习题
【知识图谱 赵军 学习笔记】第五章 实体消歧
qq_41772794的博客
11-30 1118
第五章 实体消歧任务概述定义分类基于聚类的实体消歧系统基于实体链接的实体消歧系统相关评测WePSTAC KBP基于聚类的实体消歧方法 实体具有歧义性，体现在两个方面： 同一实体在文本中会有不同的指称 ⇒\Rightarrow⇒ 指称的多样性 相同的实体指称在不同的上下文中可以指不同的实体 ⇒\Rightarrow⇒ 指称的歧义性 任务概述 定义 实体消歧可以通过六元组进行定义： M=N,E,D,O,K,δM = N,E,D,O,K,\deltaM=N,E,D,O,K,δ N=n1,n2,...,nlN
【知识图谱 赵军 学习笔记】第九章 知识推理
qq_41772794的博客
12-17 1100
第九章 知识推理知识图谱中的典型推理任务知识补全知识问答知识推理分类归纳推理和演绎推理归纳推理演绎推理确定性推理与不确定性推理确定性逻辑推理不确定性推理概率图模型概率逻辑推理关联规则挖掘符号推理数值推理基于符号演算的推理归纳推理频繁子图挖掘归纳逻辑编程结构学习方法演绎推理确定性推理：λ\lambdaλ演算不确定性推理：马尔科夫逻辑网和概率软逻辑基于数值计算的推理基于张量分解的方法基于能量函数的方法符号演算和数值计算的融合推理常识知识推理 知识图谱中的典型推理任务 知识补全 也称为面向知识库或知识图谱的事实补
【知识图谱 赵军 学习笔记】第十章 知识问答与对话
qq_41772794的博客
12-21 1059
第十章 知识问答与对话自动问答概述知识问答知识问答技术概述基于语义解析的方法有监督方法语义组合模型语义辞典构造组合消歧模型无监督方法基于搜索排序的方法基于特征工程的方法问句特征抽取候选答案特征提取问句-候选答案匹配基于表示学习的神经网络方法常用评测数据及各方法性能比较知识对话知识对话技术概述任务导向型对话模型自然语言理解对话管理基于有限自动机的方法基于框架的方法基于概率模型的方法自然语言生成通用对话模型基于模板的方法端到端的方法 目前的问答和对话系统大多只能回答事实性问答，不能很好处理复杂问题 自动问答概述
【知识图谱 赵军 学习笔记】第六章 关系抽取
qq_41772794的博客
12-03 1008
第六章 关系抽取任务概述任务分类任务难点相关测评限定域关系抽取基于模板的关系抽取方法基于机器学习的关系抽取方法有监督的关系抽取方法基于特征工程的方法基于核函数的方法基于神经网络的方法开放域关系抽取 任务概述 关系抽取是指自动识别实体之间具有的某种语义关系，可分为二元关系抽取和多元关系抽取，其对问答系统、智能客服、聊天机器人、语义搜索等应用十分重要 二元关系抽取：是指两个实体间的关系，用(arg1,relation,arg2)(arg1,relation ,arg2)(arg1,relation,arg2)
K-近邻算法有什么作用
05-26
K-近邻算法在机器学习领域中被广泛应用，主要有以下几个作用： 1.分类：K-近邻算法可以用于分类问题，比如判断一封电子邮件是否是垃圾邮件，对图像进行分类等。 2.回归：K-近邻算法也可以用于回归问题，比如根据...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值