【机器学习】k-近邻算法笔记

算法原理

k-近邻算法非常有效而且易于掌握，适合用于数值型数据和标称型数据。k-近邻算法的原理是这样的：存在一个样本数据集合（训练样本集），样本集中每个数据都有标签，输入没有标签的新数据后，将新数据的每个特征与样本集中的数据对应的特征进行比较。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中的k的出处，通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

优缺点

优点：精度高、对异常值不敏感、无数据输入假定
缺点：计算复杂度高、空间复杂度高

Python代码

算法核心程序

def calculateDistances(inX, dataSet):
    """计算inX到各个点的距离"""
    # 矩阵的shape表示这个矩阵有(行，列)
    dataSetSize = dataSet.shape[0]
    # tile:重复某个数组
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet
    sqDiffMat = diffMat**2                  # 乘方
    sqDistance = sqDiffMat.sum(axis=1)
    distances = sqDistance**0.5             # 开方
    return distances

def classify0(inX, dataSet, labels, k):
    """k-近邻算法分类器"""

    # 计算inX到各点的距离
    distances = calculateDistances(inX, dataSet)
    # argsort函数返回的是数组值从小到大的索引值
    sortedDistIndicies = distances.argsort()

    classCount = {}
    # 选择距离最小的k个点，计数保存到classCount
    for i in range(k):
        # 根据索引值获取标签值
        voteIlabel = labels[sortedDistIndicies[i]]
        # 标签统计计数
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1

    # sorted 参数：
    # key指定一个接收一个参数的函数，这个函数用于从每个元素中提取一个用于比较的关键字。默认值为None。
    # reverse是一个布尔值。如果设置为True，列表元素将被倒序排列。
    # 根据key-value的value大小进行排序
    sortedClassCount = sorted(classCount.items(),
        key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]

classify0函数有4个输入参数：
inX：用于分类的输入向量；
dataSet：输入的训练样本集
labels：标签向量（标签向量的元素数目和矩阵dataSet的行数相同）
k：用于选择最近邻居的数目

calculateDistances函数是计算inX与各个样本的距离，计算公式是欧式距离公式。

$d=\sqrt{(x-y)^2+(x_1-y_1)^2}$

计算完所有点之间的距离后，对数据以从小到大排序。然后，确定前k个距离最小元素所在的主要分类（k为正整数）；最后，将classCount字典分解为元组列表，使用operator中的itemgetter方法，以第二个元素（出现次数）为标准，从大到小对元组进行排序。最后返回出现次数最高的元素标签（sortedClassCount[0][0]）。

生成数据和测试

def createDataSet():
    """创建样本数据集合"""
    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    labels = ['A', 'A', 'B', 'B']
    return group, labels

if __name__ == '__main__':
    group, labels = createDataSet()
    res = classify0([0, 0], group, labels, 3)
    print(res)

打印结果应该是

B

后面可以尝试改变主函数里[0, 0]的值，测试程序的运行结果。

---

参考资料：《机器学习实战》