机器学习基础（四十一）—— KNN

K 近邻的数学表达

所谓 K 近邻的数学表达，也即统计计数（再进行表决）的数学表达。

$$y=\arg\max_{c_j}\sum_{x_i\in N_k(x)}I(y_i=c_j),\quad i=1,2,\ldots,N;\;j=1,2,\ldots,K$$

k 值的选择

k 值的选择会对 k 近邻法的结果产生重大影响。

如果选择较小的 k 值，就相当于用较小的邻域中的训练实例（$x_i\in N_k(x)$）进行预测。“学习”的近似误差（approximation error）会减少，只有与输入实例较近的（相似的）训练实例才会对预测结果起作用，但缺点是“学习”的估计误差（estimation error）会增大，预测结果对近邻的实例点非常敏感。如果近邻的实例点恰巧是噪声，预测就会出错。换句话说，k 值的减小就意味着模型变得复杂，容易发生过拟合。

如果选择较大的 k 值，将相当于用较大邻域中的训练实例进行预测。其优点是可以减少学习的估计误差，但会增大学习的近似误差。这时与输入实例较远的（不相似）的训练实例也会对预测起作用，使预测发生错误。k 值的增大意味着整体的模型变得简单。

如果 $k=N$，那么无论输入实例是什么，都将简单地预测它属于在训练实例中出现最多的类，这时，模型过于简单，完全忽视训练实例中的大量有用信息。

在应用中，k 一般取一个较小的值，通常采用交叉验证法来选取最优的 k 值。

#