一.工作原理
**前提:**存在一个样本数据集合,也称为训练样本集,并且每个样本集每个数据都贴有标签,即我们知道样本集中的每一个数据与其所属分类的对应关系。
**实现过程:**输入没有标签的新数据后,将新数据的每个特征与样本集数据中数据对应特征(这里的特征具体指什么?距离?)进行比较,然后算法提取样本集中特征最相似数据的分类标签。一般来说,我们会选择样本集数据其中前k个最相似的数据,通常k是不大于20的整数。
**输入输出:**输入没有贴标签的样本数据,通过与训练集数据进行比较,输出原先样本集数据的标签。
二.K-近邻算法的一般流程
1.收集数据:可以使用任何方法
2.准备数据:距离计算(这个距离计算就是为了寻找具有相似特征的数据)所需要的数值,最好是结构化的数据格式。
3.分析数据:可以使用任何方法。
4.训练算法:此步骤不适用k-近邻算法。
5.测试算法:计算错误率。
6.使用算法:首先需要输入样本数据和结构化的输出结果,然后运行k-近邻算法判断输入个数据分别属于哪个分类,最后应用对计算处的分类执行后续的处理。
1.准备数据(用Python创建数据)
from numpy import * #导入科学计算包Numpy,*代表numpy的所有模块
import operator #导入运算操作符
def createDataSet(): #定义createDataSet 函数
group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]) #创建四个点
labels = ['A','A','B','B'] #四个标签
return group,labels
则以上的代码,将[1.0,1.1],[1.0,1.0]定义为类A, [0,0],[0,0.1]定义为类B
2.分析数据
伪代码如下:
1.计算已知类别数据集中的点与当前点之间的距离;
2.按照距离递增次序排序;
3.选取与当前点距离最小的k个点;
4.确定前k个点所在类别的出现频率;
5.返回k个点出现频率最高的类别作为当前点的预测分类。
计算俩点的距离,可以用范数即 ,具体就是欧式距离公式,则有
对于(1,0)和(2,1),则欧式距离为:
如果数据集存在4个特征值,则点(1,0,0,1)与(7,6,9,4)之间的距离计算为:
计算完所有点的距离后,可以对数据按照从小到大的次序排序。然后确定前K个距离最小元素的分类,代码如下:
from numpy import * #导入科学计算器numpy
import operator #导入运算模块
def createDataSet(): #创建数据集
group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
labels = ['A','A','B','B']
return group,labels
def kmeans(index,dataset,labels,k):
datasetsize=dataset.shape[0] #得到数组的行,即知道有几个训练数据
diffMat = tile(index,(datasetsize,1))-dataset #将原来的数组扩充为4个一样的数组,diffMat得到了目标与训练数值之间的差值
sqDiffMat=diffMat**2 #各个元素分别平方
sqDistances=sqDiffMat.sum(axis=1) #对应列相乘,即得到了每一个距离的平方
distance=sqDistances**0.5 #开方,得到距离
sortedDistindicies=distance.argsort() #升序排列,从小到大,这里返回的是数组值从小到大的索引值,即[2,3,1,0]
classcount={} #选择距离最小的k个点
for i in range(k):
votelabel=labels[sortedDistindicies[i]] #获得在第k个值前面的labels,如 ‘A’,‘B’之类的标签
classcount[votelabel]=classcount.get(votelabel,0)+1 #get(当找得到votelabel,返回原来的次数并加1,当没有找的的时候,返回0)
#排序
sortedclasscount=sorted(classcount.iteritems(),key=operator.itemgetter(1),reverse=True) #本身字典是没有顺序的,但是排序后就有了
return sortedclasscount[0][0]
打开shell窗口,输入:
>>&g