主要工作原理:
在训练集样本中,每个样本都存在标签,即我们知道每个样本每个样本与所属的对应关系。输入没有标签的新数据后,将新数据中的每个特征与样本集中数据所对应的特征进行对比,根据算法提取样本集中特征最相似的分类标签,选择前k个最相似的数据中出现次数最多的分类作为新数据的分类。
KNN核心代码的算法思想
1.计算已知类别和当前点之间的距离(使用欧氏距离)
2.按照距离递增的次序进行排序
3.选取与当前点距离最小的前k个点
4.确定前k个点出现分类的频率
5.返回前k个点出现频率最高的类别作为当前点对应的预测分类。
另外:在计算欧式距离时,为了防止某些特征的数值太大,太过于影响计算距离,需要使用归一化。
具体代码如下:
def autoform(Dataset):
minVals=Dataset.min(0)
maxVals=Dataset.max(0)
ranges=maxVals-minVals
normDataSet=zeros(shape(Dataset))
m=Dataset.shape[0]
normDataSet=Dataset-tile(minVals,(m,1))
normDataSet=normDataSet/tile(ranges,(m,1))
return normDataSet,ranges,minVals
def classify0(inX,dataSet,labels,k):
dataSetSize=dataSet.shape[0]
diffMat=tile(inX,(dataSetSize,1))-dataSet
sqDiffmMat=diffMat**2
sqDistance=sqDiffmMat.sum(axis=1)
distances=sqDistance**0.5
sortedDistances=distances.argsort()
classCount={}
for i in range(k):
voteIlabel=labels[sortedDistances[i]]
classCount[voteIlabel]=classCount.get(voteIlabel,0)+1
sortedClassCount=sorted(classCount.iteritems(),key=operator.itemgetter(1),reverse=True)
return sortedClassCount[0][0]