机器学习——k近邻法KNN

$k$近邻法( $k$-nearest neighber, $k$-NN)是一种基本分类与回归方法。

$k$近邻算法

输出：实例$x$所属的类$y$。
(1) 根据给定的距离度量，在训练集$T$中找出与$x$最邻近的$k$个点，涵盖这$k$个点的$x$的邻域记作$N_k(x)$
(2) 在$N_k(x)$中根据分类决策规则（如多数表决）决定x的类别
$$y=\arg \underset{c_j}{\max }\sum _{x_i\in N_k(x)}I\left(y_i=c_j\right),i=1,2,\cdots ,N;j=1,2,\cdots ,K$$

$k$近邻模型

距离度量

$$L_p\left(x_i,x_j\right)={\left(\sum _{l=1}^n{\left|x_i^{(l)}-x_j^{(l)}\right|}^p\right)}^{\frac{1}{p}}$$
当$p=2$时，为欧式距离。当$p=1$时，为曼哈顿距离。当$p=inf$时，是各个坐标距离的最大值，称为切比雪夫距离。

$k$值的选择

$k$值的减小意味着整体模型变得复杂，容易发生过拟合。$k$值的增大就意味着整体的模型变得简单。通常采用交叉验证法来选取最优的$k$值。

$kd$树

对训练数据进行快速$k$近邻搜索可以采用$kd$树的方法。
$kd$树是二叉树，构成一系列的$k$维超矩形区域，每个结点对应于一个$k$维超矩形区域。详细参见【数学】kd 树算法之详细篇。