统计学习方法（三）：k近邻法

• k近邻法：判别模型
• 模型：$y=\arg {\max }_{c_j}{\sum }_{x_i\in N_k(x)}I\left(y_i=c_j\right),i=1,2,\cdots ,N;j=1,2,\cdots ,K$。$I$为指示函数，即当 $y_i=c_j$ 时 $I$ 为 $1,$ 否则 $I$ 为 $0 $。
• 基本思想：在要预测的点画一个圈（也就是离该点距离最近的K个点作为一个邻域），然后看这个邻域中K个点属于哪个类别的多就判断该预测点为哪个类。
• 三要素：k值的选择、距离度量、分类决策规则
• k值的选择：
  • 当k=1时，称为最近邻法。
    
  • 较小的k值：
    • 优：只有与实例相近的训练实例才会对预测结果起作用。近似误差会减小。
    • 缺：预测结果会对邻近的实力点敏感。估计误差会变大。
  • 较大的k值：
    • 优：减少了估计误差。
    • 缺：与输入实例较远的（不相关的）点也会起作用。近似误差会变大。
• 距离度量：对两点之间的距离，度量方式有多种，如平时常用的欧式距离，还有曼哈顿距离（直接坐标减，不平方）等。
• 分类决策规则：多数表决规则，也就是圈子里哪个类别多，就预测为该类。