统计学习方法学习笔记（第三章 k近邻法）

k近邻法的特殊情况是k=1的情况，称为最近临算法，对于输入的实例点x，最近邻法将训练数据集中与x最邻近点的类作为x的类。

p = 2时，Lp距离称为欧式距离。

p = 1时，称为曼哈顿距离。

p = 无穷时，各个坐标距离的最大值。

k值减小导致过拟合，k太大导致欠拟合。

多数表决规则等价于经验风险最小化。

kd树搜索的平均计算复杂度为O(logN),

k近邻法是基本且简单的分类与回归方法，k近邻法的基本做法是:　对给定的训练实例点和输入实例点，首先确定输入实例点的k个最临近训练实例点，然后利用k个训练实例点来预测输入实例点。