监督学习–分类(KNN算法)
最邻近规则分类
1968年提出的分类算法,输入基于实例的学习,懒惰学习。
算法步骤:
- 为了判断未知实例的类别,以所有已知类别的实例作为参照;
- 选择参数K;
- 计算未知实例与所有已知实例之间的距离;
- 选择最近的K个已知实例;
- 根据少数服从多数的投票法则,让未知实例归类为K个最邻近样本中最多数的类别。
关于距离的衡量方法:
- 计算两点(二维坐标)之间距离的方法;
- 弦值;
- 相关度;
- 曼哈顿距离。
优点
简单,易于理解,容易实现,通过对K的选择可具备丢噪音数据的健壮性。
缺点
- 需要大量空间存储所有已知实例;
- 算法复杂度高(需要比较所有的已知实例);
- 当样本分布不平衡时,比如其中一类样本过大(实例数量过多)占主导的时候,新的未知实例容易被归为这个主导样本。
改进
考虑距离,根据距离加上权重
-文章笔记通过学习B站视频资源所做