机器学习之k-近邻算法（一）kNN分类算法

最新推荐文章于 2023-06-12 15:47:45 发布

景兄弟1366

最新推荐文章于 2023-06-12 15:47:45 发布

阅读量268

点赞数

分类专栏： python 文章标签：机器学习 knn

本文链接：https://blog.csdn.net/u012539700/article/details/103102123

版权

python 专栏收录该内容

20 篇文章 0 订阅

订阅专栏

本文介绍了机器学习中的k-近邻算法，使用Python3.7实现，依赖Numpy库。算法步骤包括计算数据集中点与输入点的距离，按距离排序，选取最近的k个点，统计这些点的类别频率，最终根据频率最高的类别预测输入点的分类。通过示例数据集展示了算法的应用，如输入点[1.2,0]、[1.5,1]和[0,0.5]分别被分类为A和B。" 113328590,10543213,STM32Cube配置串口DMA发送与接收,"['STM32开发', '嵌入式硬件', 'DMA技术', '串口通信', '微控制器']

摘要由CSDN通过智能技术生成

采用python3.7，需要安装Numpy库

算法的逻辑如下：

1.计算已知分类数据集中的点与输入点之间的距离

2.根据距离递增排序

3 选择与输入点距离最小的k个点

4 确认前k个点所在分类的出现频率

5 返回前k个点出现频率最高的分类作为输入点的预测分类

数据集：

[[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]

['A','A','B','B']

输入:[1.2,0]
输出:A
输入:[1.5,1]
输出:A
输入:[0,0.5]
输出:B

下面是源码：

from numpy import *
import operator

'''
KNN分类算法
出现问题
AttributeError: 'dict' object has no attribute 'iteritems'
Python3.5中：iteritems变为items
'''

def createDataSet():
    #创建数据集
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels = ['A','A','B','B']
    return group,labels

#print(group)
#print(labels)

def classify0(intX,dataSet,labels,k):
    #距离计算
    dataSetSize = dataSet.shape[0]
    diffMat = tile(intX,(dataSetSize,1))-dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    sortedDistIndicies = distances.argsort()
    #选择距离最小的K个点
    classCount = {}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0)+1
    #排序
    sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
    return sortedClassCount[0][0]

group,labels = createDataSet()

print("输入:[1.2,0]")
print("输出:"+classify0([1.2,0],group,labels,3))

print("输入:[1.5,1]")
print("输出:"+classify0([1.5,1],group,labels,3))

print("输入:[0,0.5]")
print("输出:"+classify0([0,0.5],group,labels,3))