机器学习实战代码详细注释之kNN算法

近来在学习机器学习的八大算法,看到了《机器学习实战》这本好书,然而我感觉它的代码架构太过突然,好像难以让初学者迅速看懂到底每一步发生了什么,我决定将代码全部注释一遍
这个实现的难点在于这一段的取巧,使用了矩阵来整体处理数据,建议看不懂的话直接去debug模式看看矩阵长什么样子

请配合原书观看

from numpy import *
import operator

def createDataSet():
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels = ['A','A','B','B']
    return group,labels

group,labels = createDataSet()

##inX是被分类的向量,dataSet是数据集,labels是数据集标签,k是参数
def classify(inX,dataSet,labels,k):
    dataSetSize = dataSet.shape[0]
    ##将矩阵作为分块子阵,创建dataSetSize行,1列的矩阵,并且整个矩阵减去数据集,整个矩阵变成了坐标差
    diffMat = tile(inX,(dataSetSize,1))-dataSet
    sqDiffMat = diffMat**2
    ##将所有列向量求和
    sqDistances = sqDiffMat.sum(axis=1)##axis就是沿着第二个轴的意思,也就是列
    distances = sqDistances**0.5##现在得到了一个1行dataSet列的矩阵,代表的是每个数据和这个点的距离

    ##利用argsort()方法得到排序后的下标
    sortedDistIndicies = distances.argsort()

    ##对k个邻居进行投票
    classCount={}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        ##这一步就可以直接利用map.get()中的默认值,创建不存在的key
        classCount[voteIlabel] = classCount.get(voteIlabel,0)+1
    sortedClassCount = sorted(classCount.items(),key = operator.itemgetter(1),reverse=True)
    return sortedClassCount[0][0]

print(classify([0,0],group,labels,3))
展开阅读全文

没有更多推荐了,返回首页