近来在学习机器学习的八大算法,看到了《机器学习实战》这本好书,然而我感觉它的代码架构太过突然,好像难以让初学者迅速看懂到底每一步发生了什么,我决定将代码全部注释一遍
这个实现的难点在于这一段的取巧,使用了矩阵来整体处理数据,建议看不懂的话直接去debug模式看看矩阵长什么样子
请配合原书观看
from numpy import *
import operator
def createDataSet():
group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
labels = ['A','A','B','B']
return group,labels
group,labels = createDataSet()
##inX是被分类的向量,dataSet是数据集,labels是数据集标签,k是参数
def classify(inX,dataSet,labels,k):
dataSetSize = dataSet.shape[0]
##将矩阵作为分块子阵,创建dataSetSize行,1列的矩阵,并且整个矩阵减去数据集,整个矩阵变成了坐标差
diffMat = tile(inX,(dataSetSize,1))-dataSet
sqDiffMat = diffMat**2
##将所有列向量求和
sqDistances = sqDiffMat.sum(axis=1)##axis就是沿着第二个轴的意思,也就是列
distances = sqDistances**0.5##现在得到了一个1行dataSet列的矩阵,代表的是每个数据和这个点的距离
##利用argsort()方法得到排序后的下标
sortedDistIndicies = distances.argsort()
##对k个邻居进行投票
classCount={}
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]]
##这一步就可以直接利用map.get()中的默认值,创建不存在的key
classCount[voteIlabel] = classCount.get(voteIlabel,0)+1
sortedClassCount = sorted(classCount.items(),key = operator.itemgetter(1),reverse=True)
return sortedClassCount[0][0]
print(classify([0,0],group,labels,3))