1、k-近邻算法原理
简单地说,K-近邻算法采用测量不同特征值之间的距离方法进行分类。
- 优点:精度高、对异常值不敏感、无数据输入假定。
- 缺点:时间复杂度高、空间复杂度高。
- 适用数据范围:数值型和标称型。
关于标称型和数值型
监督学习一般使用两种类型的目标变量:标称型和数值型
标称型:标称型目标变量的结果只在有限目标集中取值,如真与假(标称型目标变量主要用于分类)
数值型:数值型目标变量则可以从无限的数值集合中取值,如0.100,42.001等 (数值型目标变量主要用于回归分析)
测量不同特征值之间的距离通常采用欧几里得距离。欧氏距离是最常见的距离度量,衡量的是多维空间中各个点之间的绝对距离。公式如下:
K-邻近算法的步骤:
1、我们求未知点到所有样本点的距离
2、对以上求的距离进行排序(从小到大)
3、对排序号的样本点取K个(注意K值一般不大于20)
4、对这前K个样本的标签进行分析,如果某一样本标签占优势那么未知点就属于该标签的类别