从零开始-Machine Learning学习笔记(20)-kNN(k-Nearset Neignbor)学习笔记

  k-近邻算法是我见过最为简单却很实用的算法，他没有复杂的推导公式，没有长时间的训练过程，数据集即是模型。
  在周志华老师的西瓜书中，是这么来描述他的：

k-近邻是一种常用的监督学习方法，其工作机制非常简单：从给定测试样本，基于某种距离度量来找出数据集中与其最靠近的k个样本，然后基于这k个邻居来进行预测。

在分类问题中，可以根据“投票法”来选择这k个邻居中出现最多的类别作为预测结果；在回归问题中则可以采取一种“平均法”或者“加权平均法”来作为预测结果。
  它最大的特点就是没有显式的训练过程，所以我们称这种没有显式训练的学习为“懒惰学习”(Lazy learning)，而那些需要提前训练的学习我们称为“急切学习”(Eager learning)

  所以我们很清楚了，就是找出数据集中与测试样本最近的k个样本，并统计k个样本中出现次数最多的label作为输出。这种方法看似简单，但是在数据量很大的时候，kNN往往能取得不错的效果，且计算时间短。它的主要特点为：

优点： 精度高、对异常值不敏感、无输入数据假定
缺点： 计算复杂度高、空间复杂度高(要与所有的样本计算距离)
适用于数值型和标称型数据

其流程可以表示为：
(1) 计算测试样本与已知类别的样本的距离
(2) 按照距离递增次序排序
(3) 选取与当前样本距离最小的k个样本
(4) 确定前k个样本所在类别出现的频率
(5) 返回前k个样本中出现频次最高的类别当作当前样本的预测分类
其代码如下：

from numpy import *
def knn(test, dataSet, labels, k):
	'''
	k-近邻算法
	参数：
	  -test：待分类样本
	  -dataSet：数据集
	  -labels：数据集对应的标签
	  -k：邻居数量
	返回：
	  -预测的分类
	'''
    dataSetSize = dataSet.shape[0] # 获取数据集样本数量
    diffMat = tile(inX, (dataSetSize,1)) - dataSet # 测试样本与数据集中每一个样本对应相减
    sqDiffMat = diffMat**2  # 平方
    sqDistances = sqDiffMat.sum(axis=1)  # 再按行求和
    distances = sqDistances**0.5 # 再开方得到样本间的欧式距离
    sortedDistIndicies = distances.argsort() # 对距离进排序并返回序号    
    classCount={}          
    for i in range(k): # 统计前k个样本中各label的数量
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0] # 返回数量最多的label

在sklearn中的使用也很简单：

from sklearn.neighbors import KNeighborsClassifier
model = KNeighborsClassifier(n_neighbors=param)  # param表示邻居的数量
model.fit(X,y)  # 训练，其实没有训练X是数据集，y是label
y_test = model.predict(x_test) # 预测

通常所说的调包怪是也！导入模型->fit->predict（摊手~）

最后值得注意的是：

对于k的取值一般没有什么好的办法，通过实验来确定，选择正确率最高的k即可，一般来说k的取值不超过20.