2.机器学习实战之K-近邻算法

返回目录

1.简单理论介绍

1.1 k-近邻算法的工作原理

k-近邻算法（KNN）的工作原理是：我们有一个样本集，里面的每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，依据数据的特征来计算新数据和样本集中数据的距离（这儿采用欧式距离），将计算后的距离按升序排序，选取距离最近的前k（一般小于20）个样本数据，将新数据的类别划分到这k个样本数据中所属类别最多的类。

1.2 欧氏距离

1.3 k-近邻算法优缺点

优点：精度高、对异常值不敏感、无数据输入假定

缺点：计算复杂度高、空间复杂度高、无法给出数据的基础结构信息

适用数据范围：数值型和标称型

2.伪代码

对未知类别属性的数据集中的每个点依次执行以下操作：

1)计算已知类别数据集中的点与当前点之间的距离；

2)按照距离递增次序排序；

3)选取与当前点距离最小的k个点；

4)确定前k个点所在类别的出现频率；

5)返回前k个点出现频率最高的类别作为当前点的预测分类。

3.算法实现

import numpy as np
import operator

# k-NearestNeighbor分类器
# inX：用于分类的输入向量(1xN)，dataSet：输入的训练样本(MxN)，labels：标签向量(1xM)，k：确定最后选择的最邻近邻居的数目。其中，M为样本数目，N为特征个数
def classify(inX,dataSet,labels,k