机器学习之K近邻(K-NN)算法 (二)

一、k-近邻算法回顾

  在第一部分，我们已经讲解了k-近邻算法。简单来说，k-近邻算法就是采用测量不同特征值之间的距离的方法来进行分类。

• 优点：精度高、对异常值不敏感、无数据输入假定
• 缺点：计算复杂度高、空间复杂度高
• 使用数据范围：数值型和标称型

二、k-近邻算法的一般流程

kNN算法实现步骤：

• 计算已知类别的数据集中的点与当前点之间的距离
• 按照距离递增次序排序
• 选取与当前点距离最小的k个点
• 确定前k个点所在类别出现的频率
• 返回前k个点出现频率最高的类别作为当前点的预测分类

下面我们将用根据以上步骤来给出python实战代码

三、 k-近邻算法实战

# 导入数据
from numpy import *
import operator
import matplotlib.pyplot as plt

def createDataSet():
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels = ['A','A','B','B']
    return group,labels
group,labels = createDataSet()
print("Groups:")
print(group)
print("Labels:")
print(labels)
x = [i[0] for i in group]
y = [i[1] for i in group]
plt.scatter(x,y)
for i in range(0,len(x)):
    plt.text(x[i]+0.02,y[i],labels[i])

运行结果：

def classify0(inX,dataSet,labels,K):
    """
        inX - 待分类的点
        dataSet - 数据集
        labels - 数据集标签
        k - 选择k分类
    """
    #距离计算
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX,(dataSetSize,1)) - dataSet #tile函数是复制的作用。把inX的点复制成与dataSet大小相同数组，然后相减
    sqDiffMat = diffMat ** 2
    sqDistances = sqDiffMat.sum(axis=1) #横向相加，即计算x^2 + y^2
    distances = sqDistances**0.5
    
    #选择距离最小的k个点
    sortedDistIndicies = distances.argsort() #argsort函数返回的是数组值从小到大的索引值
    classCount={}
    
    for i in range(K):
        voteIlabel = labels[sortedDistIndicies[i]] #第i个最近点数据的标签
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1 #对标签出现的次数进行次数，然后投票
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    #按照字典的值进行由大到小排序
    return sortedClassCount[0][0] #返回最有可能性的类别标签

我们在计算两个向量点的距离的时候，采用的是欧式距离公式。即平方差公式。下面我们将进行实例测试，比如我们测试点(0.3,0.3)的分类

new_point = [0.3,0.3]
x.append(new_point[0])
y.append(new_point[1])
labels.append("new point({},{}):".format(new_point[0],new_point[1]) + classify0([0.3,0.3],group,labels,3))
plt.scatter(x,y)
for i in range(0,len(x)):
    plt.text(x[i]+0.02,y[i],labels[i])

以上就是关于k-NN算法的手动实现了，后期有时间会在拓展写个k-d tree或者ball-tree～