《统计学习方法》学习笔记四

第三章 k近邻法

• k近邻法（k-nearest neighbor，k-NN）是一种基本分类与回归方法。

• k近邻算法

• • k近邻算法简单、直观：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类，就把该输入实例分为这个类。
  • k值的原则、距离度量及分类决策规则是k近邻的三个基本要素。
  • k近邻法没有显式的学习过程。
  • k近邻的特殊情况是k = 1 的情形，成为最近邻算法。

• k近邻模型

• • 模型
  • 距离度量
    • 特征空间中两个实例点的距离是两个实例点近似程度的反映。
  • k值的选择
    • k值的减少意味着模型整体变得复杂，容易发生过拟合。
    • k值的增大意味着整体的模型变得简单。、
    • k值一般取一个比较小的数值，通常采用交叉验证法来选取最优的k值。
  • 分类决策函数
    • k近邻中的分类决策规则往往是多数表决，即由输入实例的k个邻近的训练实例中的多数类决定输入实例的类。
• k近邻法的实现：kd树

• 构造kd树
• 搜索kd树