k近邻法及其实现(python)

k 近邻法的基本思想

k 近邻法（k-NN）是一种基本的分类和回归方法。

以分类任务为例，k 近邻法假设给定一个训练数据集及其类别标签。分类时，对一个新来的待预测实例，只需要根据离它最近的 k 个训练实例的类别标签，通过多数表决的方式决定待预测实例的类别。

算法流程如下：

算法3.1（k 近邻法）

输入：训练数据集       T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T = \{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)} 其中，$x_i$是实例的特征向量，$y_i$是实例的类别标签；待预测的实例特征向量$x$。   输出：实例$x$所属的类别$y$   步骤1：根据给定的距离度量，在训练集$T$中找到与$x$最近邻的k个点，将这k个点的集合记作$N_k(x)；$   步骤2：在$N_k(x)$中，根据分类决策规则（如多数表决）决定$x$的类别$y$：      $y=\arg \underset{c_j}{\max }\sum _{x_i\in N_k(x)}I(y_i=c_j),i=1,2,...,N;j=1,2,...,K$ 其中，$I$是指示函数，即当$y_i=c_i$时$I$为1，否则$I$为0.

根据上述思想，接下来有3个问题需要考虑：

1. 如何选取合适的k值？即，要参考$x$的多少个邻居的意见？
   k值过小，容易发生过拟合；k值过大，模型太简单，容易欠拟合。
   比如$k=N$，那么无论输入实例时什么，都简单地预测它属于训练实例中最多的类。当$k=1$时，称为最近邻算法。
   在应用中，$k$值一般取一个比较小的值；通常采用交叉验证法来选取最优的$k$值。
2. 选择何种距离度量方式来衡量$x$与邻居的距离？
   通常用欧式距离，但也可以使用其他的距离，如更一般的$L_p$距离（如$p=1$时为曼哈顿距离，$p=2$时是欧式距离）。
3. 使用怎样的分类决策规则？
   k 近邻法中的分类决策规则一般采用多数表决。如果分类的损失函数为0-1损失函数，那么多数表决规则等价于经验风险最小化。

k 近邻法的实现

The author is coding…