机器学习算法：K近邻算法

K近邻法

   	适用问题：多类分类 回归
	模型特点：特征空间，样本点
    模型类型：判别模型

总结：

1. k近邻法是基本且简单的分类与回归方法. k近邻法的基本做法是:对给定的训练实例点和输入实例点，首先确定输入实例点的k个最近邻训练实例点，然后利用这k个训练实例点的类的多数来预测输入实例点的类.
   2.k近邻模型对应于基于训练数据集对特征空间的一一个划分.k近邻法中，当训练集、距离度量、k值及分类决策规则确定后，其结果唯一确定.
2. k近邻法三要素:距离度量、k值的选择和分类决策规则.常用的距离度量是欧氏距离及更一般的L。 距离. k值小时，k近邻模型更复杂; k值大时，k近邻模型更简单，医值的选择反映了对近似误差与估计误差之间的权衡，通常由交叉验证选择最优的k.常用的分类决策规则是多数表决，对应于经验风险最小化.
3. k近邻法的实现需要考虑如何快速搜索k个最近邻点。kd 树是一种便于对k维空间中的数据进行快速检索的数据结构。kd树是二叉树，表示对k维空间的一个划分，其每个结点对应于k维空间划分中的个超矩形区域. 利用kd树可以省去对大部分数据点的搜索，从而减少搜索的计算量.

K-近邻算法（knn）调用R中的函数：
1.定义：
给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例，这K个实例多数属于某个类，就把该输入实例分为这个类。
2.步骤：
输入：训练数据集 T={（X1，Y1),(X2，Y2)····