对未知类别属性的数据集中的每个点依次执行以下操作:
1)计算已知类别数据集中的点与当前点之间的距离(欧式距离、曼哈顿距离或者余弦夹角等各种距离算法,具体情况具体分析用哪种);
2)按照距离递增次序排序;
3)选取与当前点距离最小的k个点;
4)确定前k个点所在类别的出现频率;
5)返回前k个点出现频率最高的类别作为当前点的预测分类。(摘自机器学习实战)
def classify0(inX, dataSet, labels, k):
#inX为需要分类的输入向量,dataSet为已有的分类的数据集,labels为数据集对应的分类情况,k为最近邻近的点的个数
# dataSet为二维数组,shape[0]指的是第一维的长度,即有多少条数据
dataSetSize = dataSet.shape[0]
# 将inX列表,复制自身,变成与数据集长度相同的二维数组。后续三步均为求解,inX与每个一维数组的距离
diffMat = tile(inX, (dataSetSize,1)) - dataSet
sqDiffMat = diffMat**2
sqDistances = sqDiffMat.sum(axis=1)
distances = sqDistances**0.5
# 排序算法 得到的列表 为从小到大的原数组的索引值 即sortedDisIndicies[0]为最小值(距inX最小的距离值)
sortedDistIndicies = distances.argsort()
# 创建字典,与inX k邻近的点中,分类情况的计数,并排序找到最大值
classCount={}
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]]
# get(a,0) 0为默认值,即不存在键时,值的默认值
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
x = classCount.items()
# key 指的是按照第二个域排序,即计数的排序 reverse = True 逆序
sortedClassCount = sorted(x, key=operator.itemgetter(1), reverse=True)
# 找到与输入向量距离最近的k个数据中,分类个数最多的分类
return sortedClassCount[0][0]