机器学习实战_Python3.7_kNN算法

使用 Python3.7 编译，代码与书中类似，修改了 python2 被淘汰的语法，附详细注解。

kNN算法原理非常简单，无需赘述，缺点主要是运行速度。

这里使用的方法全都是矩阵结构，全局遍历，没有用到高级数据结构，运行效率较低，但是实现简单。

重点学习 Python 和 Numpy 的基本语法（列表、矩阵操作）以及基本的文件操作。

---

基本算法

from numpy import *
#程序中 array、shape、tile、** 等需要
import operator
#程序中 itemgetter 需要

def createDataSet():
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels = ['A','A','B','B']
    return group, labels

def classify0(inX,dataSet,labels,k):
    #获取 dataSet 的数据个数，其中 .shape[0] 用于获取二维数组第一维度的长度
    dataSetSize = dataSet.shape[0]
    #利用 tile 函数将 inX 纵向复制成与 dataSet 同样大小的矩阵，与 dataSet 做矩阵减法
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet
    #矩阵内所有元素求平方
    sqDiffMat = diffMat **2
    #利用 sum 函数将矩阵每行相加，不设置参数 axis 会默认为 0 ，执行每列相加
    sqDistance = sqDiffMat.sum(axis = 1)
    #矩阵内所有元素开方，到这里就得到了全部的欧几里得距离
    distance = sqDistance **0.5
    #利用 argsort 函数获得矩阵中每个元素的排序序号
    sortedDistIndicies = distance.argsort()
    #创建一个空字典
    classCount = {}
    #选取前 k 个最近邻的 label
    for i in range(k):
        #根据前面得到的矩阵元素排序的序号，依次索引出第 i 近邻的数据的 label
        voteIlabel = labels[sortedDistIndicies[i]]
        #利用 get 函数，如果第一次添加这个 label ，get 会返回 0 ，将这个 label 与 1 构建键值对
        #如果是已经添加的 label ，get 会返回当前该 label 的个数，将这个 label 记录的次数再加 1
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    #利用 items 函数将字典结构转化为列表
    #参数 key 指明了根据那一列元素进行排列
    #参数 reverse 设置为 True ：降序排列
    sortedClassCount = sorted(classCount.items(),key = operator.itemgetter(1),reverse = True)
    return sortedClassCount[0][0]

测试：

inX = [0.1,0.1]
group, labels = createDataSet()
res = classify0(inX, group, labels, 3)
print(res)

执行结果（加入部分中间变量，更清晰的理解程序过程）：

diffMat:
[[-0.9 -1. ]
 [-0.9 -0.9]
 [ 0.1  0.1]
 [ 0.1  0. ]]
distance:
[1.3453624  1.27279221 0.14142136 0.1       ]
sortedDistIndicies:
[3 2 1 0]
classCount:
{'B': 2, 'A': 1}
sortedClassCount:
[('B', 2), ('A', 1)]
B

Process finished with exit code 0

---

示例一：约会网站

from numpy import *