使用 Python3.7 编译,代码与书中类似,修改了 python2 被淘汰的语法,附详细注解。
kNN算法原理非常简单,无需赘述,缺点主要是运行速度。
这里使用的方法全都是矩阵结构,全局遍历,没有用到高级数据结构,运行效率较低,但是实现简单。
重点学习 Python 和 Numpy 的基本语法(列表、矩阵操作)以及基本的文件操作。
基本算法
from numpy import *
#程序中 array、shape、tile、** 等需要
import operator
#程序中 itemgetter 需要
def createDataSet():
group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
labels = ['A','A','B','B']
return group, labels
def classify0(inX,dataSet,labels,k):
#获取 dataSet 的数据个数,其中 .shape[0] 用于获取二维数组第一维度的长度
dataSetSize = dataSet.shape[0]
#利用 tile 函数将 inX 纵向复制成与 dataSet 同样大小的矩阵,与 dataSet 做矩阵减法
diffMat = tile(inX, (dataSetSize, 1)) - dataSet
#矩阵内所有元素求平方
sqDiffMat = diffMat **2
#利用 sum 函数将矩阵每行相加,不设置参数 axis 会默认为 0 ,执行每列相加
sqDistance = sqDiffMat.sum(axis = 1)
#矩阵内所有元素开方,到这里就得到了全部的欧几里得距离
distance = sqDistance **0.5
#利用 argsort 函数获得矩阵中每个元素的排序序号
sortedDistIndicies = distance.argsort()
#创建一个空字典
classCount = {}
#选取前 k 个最近邻的 label
for i in range(k):
#根据前面得到的矩阵元素排序的序号,依次索引出第 i 近邻的数据的 label
voteIlabel = labels[sortedDistIndicies[i]]
#利用 get 函数,如果第一次添加这个 label ,get 会返回 0 ,将这个 label 与 1 构建键值对
#如果是已经添加的 label ,get 会返回当前该 label 的个数,将这个 label 记录的次数再加 1
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
#利用 items 函数将字典结构转化为列表
#参数 key 指明了根据那一列元素进行排列
#参数 reverse 设置为 True :降序排列
sortedClassCount = sorted(classCount.items(),key = operator.itemgetter(1),reverse = True)
return sortedClassCount[0][0]
测试:
inX = [0.1,0.1]
group, labels = createDataSet()
res = classify0(inX, group, labels, 3)
print(res)
执行结果(加入部分中间变量,更清晰的理解程序过程):
diffMat:
[[-0.9 -1. ]
[-0.9 -0.9]
[ 0.1 0.1]
[ 0.1 0. ]]
distance:
[1.3453624 1.27279221 0.14142136 0.1 ]
sortedDistIndicies:
[3 2 1 0]
classCount:
{'B': 2, 'A': 1}
sortedClassCount:
[('B', 2), ('A', 1)]
B
Process finished with exit code 0
示例一:约会网站
from numpy import *