K近邻法算法（KNN）及其R实现

1. K近邻算法

输入：训练数据集

$$T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\}$$
其中， $x_i \in \chi \subseteq R^n$为实例的特征向量， $y_i\in Y=\{c_1,c_2,\cdots,c_K\}$为实例的类别， $i=1,2,\cdots,N;$实例特征向量x；
输出：实例x所属的类y。
（1）根据给定的距离度量，在训练数据集T中找出与x最近邻的k个点，涵盖这k个点的x的邻域记做 $N_k(x);$
（2）在 $N_k(x)$中根据分类决策规则（如多数表决）决定x 的类别y：
$$y=arg \quad max_{c_j}\sum_{x_i\in N_k(x)}I(y_i=c_j),i=1,2,\cdots,N; j=1,2,\cdots,K$$
上式中，I为指示函数，当 yi=c<