kNN算法原理:
一个样本数据集合(训练样本集),该样本集中每个数据都存在标签,即已知样本集中每一数据与所属分类的对应关系。然后输入没有标签的新数据(待分类);将新数据的每个特征与样本集中数据对应的特征进行比较,选择样本集中与新数据最相似的前k个数据(k不大于20的整数);最后,选择k个最相似数据中出现次数最多的分类,作为新数据的分类。
优点:精度高、对异常值不敏感、无数据输入假定
缺点:计算复杂度高、空间复杂度高
一般流程:
- 计算已知类别数据集中的每个点与待分类点之间的距离
- 按照距离递增次序排列
- 选取与当前点距离最小的k个点
- 确定前k个点所在类别的出现频率
- 返回前k个点出现频率最高的类别作为当前点的预测分类
代码:
from numpy import *
import operator
k = 3
x = array([0,0])#the Point input to classify
group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])#dataset
labels = ['A','A','B','B']#the class
gsize = group.shape[0]#计算行数
knn= zeros(shape=(1,gsize))
inx = tile(x,(gsize,1))#将x在列方向上重复行数次
re = (inx-group)**2
for i in range(gsize):
knn[0,i] = (re[i,0]+re[i,1])**0.5#欧氏距离
classcount = {}#创建空字典
#index = knn.argsort()[::-1]
index = argsort(knn)#递增排列索引
for j in range(k):
gindex = int(index[0,j])
glabel = labels[gindex]
classcount[glabel] = classcount.get(glabel,0)+1#填充字典
sclasscount =sorted(classcount,key=classcount.__getitem__,reverse=True)
print(sclasscount[0])