机器学习-k近邻法

k近邻法

  k近邻法是一种基本分类和回归方法。k值的选择，距离度量和分类决策规则是k近邻法的三个要素。

1 k近邻算法

      输入：训练集$T=(x_1,y_1),(x_2,y_2),...,(x_i,yi)$,其中$x_i\in X=R^n,y_i\in Y=c_1,c_2,...,c_k$
      输出：实例x所属的类y。
    (1)根据给定的距离度量，在训练集T中找出与x最邻近的k个点，涵盖这k个点的x的邻域记作$N_k(x)$
    (2)在$N_k(x)$中根据分类决策规则决定x的类别y
$$y=\underset{c_j}{\mathrm{argmax}}\sum _{x\in N_k(x)}I(y_i=c_j),i=1,2...,N;j=1,2,...,K$$
    I为指示函数，$y_i=c_j$时I为1，否则为0.

2 k近邻模型

  k近邻法是将特征共空间根据要素划分为一些子空间,子空间的区域叫做单元(cell).

2.1 距离度量

  关于$x_i,x_j$的$L_p$距离定义为:
$$L_p(x_i,x_j)=(\sum _{l=1}^n|x_i^l-x_j^l{|}^p{)}^{\frac{1}{p}}$$
  如果p=2,表示欧式距离
$$L_p(x_i,x_j)=(\sum _{l=1}^n|x_i^l-x_j^l{|}^2{)}^{\frac{1}{2}}$$
  如果p=1,表示曼哈顿距离
$$L_p(x_i,x_j)=\sum _{l=1}^n|x_i^l-x_j^l|$$
  如果p=$\infty$,为各个坐标距离的最大值
$$L_p(x_i,x_j)=\underset{l}{\max }|x_i^l-x_j^l|$$

2.2 k值选择

  k值小,近似误差减小,估计误差增大,模型更加复杂.
  k值大,近似误差增大,估计误差减小,模型更加简单.
  在应用中,k值一般取一个比较小的数值.通常采用交叉验证法来选取最优的k值.

2.3 分类决策规则

  为了得到很好的分类效果,就要求有很低的误分类率,也就是经验风险最小.误分类率的公式如下:
$$\frac{1}{k}\sum _{x_i\in N_k(x)}I(y_i\ne c_j)=1-\frac{1}{k}\sum _{x_i\in N_k(x)}I(y_i=c_j)$$

3 k近邻实现方法：kd树

3.1 构造kd树

3.2 搜索kd树