机器学习-深度学习入门--【KNN算法】(notes3)

监督学习–分类（KNN算法）

最邻近规则分类

1968年提出的分类算法，输入基于实例的学习，懒惰学习。

算法步骤：

1. 为了判断未知实例的类别，以所有已知类别的实例作为参照；
2. 选择参数K；
3. 计算未知实例与所有已知实例之间的距离；
4. 选择最近的K个已知实例；
5. 根据少数服从多数的投票法则，让未知实例归类为K个最邻近样本中最多数的类别。

关于距离的衡量方法：

1. 计算两点（二维坐标）之间距离的方法；
2. 弦值；
3. 相关度；
4. 曼哈顿距离。

优点

简单，易于理解，容易实现，通过对K的选择可具备丢噪音数据的健壮性。

缺点

• 需要大量空间存储所有已知实例；
• 算法复杂度高（需要比较所有的已知实例）；
• 当样本分布不平衡时，比如其中一类样本过大（实例数量过多）占主导的时候，新的未知实例容易被归为这个主导样本。

改进

考虑距离，根据距离加上权重

                        -文章笔记通过学习B站视频资源所做