整理：统计学习-3 k近邻法

k近邻法是一种基本分类与回归方法，实际上就是基于给定的参数、决策，对特征向量空间进行划分，在预测时，让输入实例k个邻近的训练实例的类别来投票，k个点里个数最多的类作为该输入实例的类别。

直观的讲，K近邻模型已经把特征空间分好了类，比如二维坐标里四个象限，然后对新的实例点，比如（1，3），在它周围选择K个距离为d的训练点，投票发现在第一象限的最多，那么（1，3）就属于第一象限，分好了类。

基本要素：

k值、距离度量、分类决策

算法(书37）：

输入：训练数据集

            T={(x1,y1),(x2,y2),...,(xn,yn)}

其中yi属于实例的类别集合，xi属于实例的特征向量集合。