机器学习实战——K-近邻法、KD树

机器学习实战专辑part2——K-近邻法@[适合初学小白超详细!]

前段时间忙小论文和专利，写博客耽搁了好久，终于终于有时间可以继续写了，虽然没记录在博客上，但是学习依然没有松懈，废话不多说，今天欢迎我们的主角登场，K-近邻法。

一、K-近邻法基本概念

K-近邻法也叫KNN是一种基本分类与回归方法，一般是用来解决分类问题，它的输入为实例的特征向量，对应于特征空间的点，输出为实例的类别，可以取多类。K-近邻法假设给定一个训练数据集，其中实例的类别已定，分类时，对新的实例，根据其K个最近邻训练实例的类别，通过多数表决的等方式进行预测。K-近邻法没有显式的学习过程。
思路
K-近邻是通过测量不同特征值之间的距离进行分类。它的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别，其中K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。
三个基本要素

1.K值的选择
对于k值的选择，没有一个固定的经验，一般根据样本的分布，选择一个较小的值，可以通过交叉验证选择一个合适的k值。

选择较小的k值，就相当于用较小的领域中的训练实例进行预测，训练误差会减小，只有与输入实例较近或相似的训练实例才会对预测结果起作用，与此同时带来的问题是泛化误差会增大，换句话说，K值的减小就意味着整体模型变得复杂，容易发生过拟合；

选择较大的k值，就相当于用较大领域中的训练实例进行预测，其优点是可以减少泛化误差，但缺点是训练误差会增大。这时候，与输入实例较远（不相似的）训练实例也会对预测器作用，使预测发生错误，且K值的增大就意味着整体的模型变得简单。

一个极端是k等于样本数m，则完全没有分类，此时无论输入实例是什么，都只是简单的预测它属于在训练实例中最多的类，模型过于简单。

举个栗子说明一下K值的选择对分类结果的影响：
如下图，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。

由此也说明了KNN算法的结果很大程度取决于K的选择。

2.距离度量
特征空间中两个实例点的距离是两个实例点相似程度的反映，那么如何度量这个距离呢？一般我们选择欧式距离或更为一般的L_p距离。

其中p=2,根据不同的p值选择，也即不同的距离度量方法，确定的最近邻点是不同的。

3.分类决策规则
k-近邻法中的分类决策规则往往是多数表决，即由输入实例的K个邻近的训练实例中的多数类决定输入实例的类。多数表决规则等价于经验风险最小化。

二、实现k-近邻法伪代码

对未知类别属性的数据集中的每个点依次执行以下操作：
（1）计算已知类别数据和当前点之间的距离
（2）按照距离递增次序排序
（3）选取与当前距离最小的K个点
（4）确定前K个点所在类别的出现频率
（5）返回前K个点出现频率最高的类别作为当前点的预测分类

三、K近邻法python代码实现

from numpy import *
import operator
 
def createDataSet():
	group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])  #我觉得可以这样理解，每一种方括号都是一个维度（秩），这里就是二维数组，
                                                      #最里面括着每一行的有一个方括号，后面又有一个，就是二维，四行
	labels=['A','A','B','B']
	return group,labels
 
def classify0(inX,dataSet,labels,k):             #inX是你要输入的要分类的“坐标”，dataSet是上面createDataSet的array，就是已经有的，
                                                #分类过的坐标，label是相应分类的标签，k是KNN，k近邻里面的k
	dataSetSize=dataSet.shape[0]                     #dataSetSize是sataSet的行数，用上面的举例就是4行
	diffMat=tile(inX,(dataSetSize,1))-dataSet         #前面用tile，把一行inX变成4行一模一样的（tile有重复的功能，dataSetSize是重复4遍，
                                                    # 后面的1保证重复完了是4行，而不是一行里有四个一样的），然后再减去dataSet，
                                                   #是为了求两点的距离，先要坐标相减，这个就是坐标相减
	sqDiffMat=diffMat**2                              #上一行得到了坐标相减，然后这里要(x1-x2)^2，要求乘方
	sqDistances=sqDiffMat.sum(axis=1)                 #axis=1是列相加，，这样得到了(x1-x2)^2+(y1-y2)^2
	distances=sqDistances**0.5                        #开根号，这个之后才是距离
	sortedDistIndicies=distances.argsort()            #argsort是排序，将元素按照由小到大的顺序返回下标，比如([3,1,2]),它返回的就是([1,2,3])
	classCount={
   }
	for i in range