统计学习方法笔记，第三章，k近邻法

k近邻法的三要素：k值的选择，距离度量和分类决策规则

分类规则一般都是多数表决

k近邻法没有显式的训练过程

3.1 k近邻算法

主要思想：k个最近点多数表决，个数最多的类即为最后的分类。

3.2 k近邻模型

3.2.2距离度量

常用的距离，对于两个点,距离定义为：

3.2.3 k值的选择

k太小：对于近邻的样本非常敏感，如果该样本为噪声就会出错。

k太大：较远的（不相似的）训练样本也会对预测起作用。如果k=N，则预测结果永远是最多的类，显然不对。

应用中一般取较小的值，采用交叉验证选取k值。

3.2.4 分类决策规则

多数表决的本质就是使得误分类率最小，即经验风险最小化。