KNN算法笔记

KNN原理

KNN的原理是计算要预测的数据点和每个已知数据之间的距离，将距离排序，然后选定一个合适的K值，即从所有距离中找到离预测点最近的K个距离对应的数据，这K个点都有对应的类别，对比这K个样本的类别，让预测点归类为K个最邻近样本中最多数的类别。
KNN算法采用测量不同特征值之间的距离方法进行分类。

决策规则

分类决策规则
一般使用多数表决法（少数服从多数），从而确定预测点的类别。
回归决策规则
常采用均值回归，经验风险最小化。

距离度量

当p=1时，就是曼哈顿距离(对应L1范数)
曼哈顿距离对应L1-范数，也就是在欧几里得空间的固定直角坐标系上两点所形成的线段对轴产生的投影的距离总和。例如在平面上，坐标（x1, y1）的点P1与坐标（x2, y2）的点P2的曼哈顿距离为：|x1−x2|+|y1−y2||x1−x2|+|y1−y2|，要注意的是，曼哈顿距离依赖座标系统的转度，而非系统在座标轴上的平移或映射。

当p=2时