机器学习笔记-K近邻

  • k近邻法不具有显示的学习过程,是一种懒惰学习
  • 即可分类,又可回归
  • 模型由三个基本要素——距离度量、k值的选择、分类决策规则决定
  • kd树是二叉树,表示对k维空间的一个划分。是一种便于对k维空间中的数据进行快速检索的数据结构
  • 构造kd树,相当于不断用垂直于坐标轴的超平面将k维空间切分,构成一系列的k维超矩形区域,构造好的kd树的每个叶子节点都对应k维空间的一个划分
  • 对于n个实例的k维数据来说,建立kd树的时间复杂度为O(k*n*logn)
  • k值的选择
    • k值越小,就相当于用较小的领域中的训练实例进行预测。表明模型越复杂,更加容易过拟合
    • 但是k值越大,模型越简单,如果k=N的时候就表明无论什么点都是训练集中类别最多的那个类
    • 所以一般k会取一个较小的值,然后用过交叉验证来确定

发布了81 篇原创文章 · 获赞 134 · 访问量 41万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 精致技术 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览