机器学习（一）-- K-近邻算法（KNN）

1、k-近邻算法原理

简单地说，K-近邻算法采用测量不同特征值之间的距离方法进行分类。

- 优点：精度高、对异常值不敏感、无数据输入假定。
- 缺点：时间复杂度高、空间复杂度高。

- 适用数据范围：数值型和标称型。

关于标称型和数值型

监督学习一般使用两种类型的目标变量：标称型和数值型

标称型：标称型目标变量的结果只在有限目标集中取值，如真与假(标称型目标变量主要用于分类)

数值型：数值型目标变量则可以从无限的数值集合中取值，如0.100，42.001等 (数值型目标变量主要用于回归分析)

测量不同特征值之间的距离通常采用欧几里得距离。

欧几里得距离(Euclidean Distance)

欧氏距离是最常见的距离度量，衡量的是多维空间中各个点之间的绝对距离。公式如下：

K-邻近算法的步骤：

1、我们求未知点到所有样本点的距离

2、对以上求的距离进行排序（从小到大）

3、对排序号的样本点取K个（注意K值一般不大于20）

4、对这前K个样本的标签进行分析，如果某一样本标签占优势那么未知点就属于该标签的类别