返回目录
1.简单理论介绍
1.1 k-近邻算法的工作原理
k-近邻算法(KNN)的工作原理是:我们有一个样本集,里面的每个数据都存在标签,即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后,依据数据的特征来计算新数据和样本集中数据的距离(这儿采用欧式距离),将计算后的距离按升序排序,选取距离最近的前k(一般小于20)个样本数据,将新数据的类别划分到这k个样本数据中所属类别最多的类。
1.2 欧氏距离
1.3 k-近邻算法优缺点
优点:精度高、对异常值不敏感、无数据输入假定
缺点:计算复杂度高、空间复杂度高、无法给出数据的基础结构信息
适用数据范围:数值型和标称型
2.伪代码
对未知类别属性的数据集中的每个点依次执行以下操作:
1)计算已知类别数据集中的点与当前点之间的距离;
2)按照距离递增次序排序;
3)选取与当前点距离最小的k个点;
4)确定前k个点所在类别的出现频率;
5)返回前k个点出现频率最高的类别作为当前点的预测分类。
3.算法实现
import numpy as np
import operator
# k-NearestNeighbor分类器
# inX:用于分类的输入向量(1xN),dataSet:输入的训练样本(MxN),labels:标签向量(1xM),k:确定最后选择的最邻近邻居的数目。其中,M为样本数目,N为特征个数
def classify(inX,dataSet,labels,k