定义
- 求与向量
x
距离最近的
k 个向量,将多数向量的类别作为 x 的类别; 分类,回归;
三要素
- 距离度量
k 值的选择- 分类决策规则
距离度量
- Lp 距离
- Minkowski距离
- 欧氏距离;
Lp 定义
Lp(xi,xj)=(∑l=1n∣∣x(l)i−x(l)j∣∣p)1p
- p=2 时为欧氏距离,平面距离;
- p=1 时为曼哈顿距离,差的绝对值;
- p=∞ ,它是各个坐标距离的最大值,即:
L∞(xi,xj)=maxl∣∣x(l)i−x(l)j∣∣
K值的选择
- k 值较小,近似误差小,估计误差大,容易发生过拟合;
k 值较大,近似误差大,估计误差小,不相似的实例也会对预测起到作用,是预测发生错误;模型变得简单;- 实际应用:
k
取比较小的值,通过交叉验证来选择最优的
k
分类决策规划
- 多数表决规则;
实现- kd 树
KD树在POI中的应用
- 通过KD树,快速找到与用户最近的k个商家;
- 查到用户指定距离中的POI;
其他
- R树,
- BallTree;