机器学习笔记-K近邻算法

k-近邻算法

工作原理：

存在一个训练样本数据集合，且样本集中每个数据都存在标签，即我们知道样本集中每—数据与所属分类的对应关系。在输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征基于某种距离度量进行比较，然后提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据,这就是k-近邻算法中k的出处,通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类；而在回归任务中，将这k个样本的实值输出标记的平均值作为预测结果。

令：

1. k是一个重要参数，k不同时，产生的结果也会有很多不同。
2. 采用不同的距离计算公式，也会产生不同的结果。

优缺点：

• 优点：简单，是一种懒惰学习方法，不需要训练。
• 缺点：计算量大，数据量大或者数据维度高时，计算困难，或者样本数据稀疏的问题出现。

一般流程：

1. 收集数据: 可以使用任何方法。
2. 准备数据: 进行距离计算所需要的数值，最好是结构化的数据格式。
3. 分析数据: 可以使用任何方法。
4. 训练算法: 不需要。
5. 测试算法: 计算错误率。
6. 使用算法:首先需要输入样本数据，进行数据处理，输出结构化的数据，然后运行k-近邻算法判定输入数据分别属于哪个分类，最后应用对计算出的分类执行后续的处理。

简单实现

def classify(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    # 计算距离-此处使用欧式距离来计算，即：两个向量中的各位置上的对应元素相减后的平方再求和，最后开根号。
    # tile表示将数据数据扩充为数据集的大小，例如此处为[0,0],扩充大小为（4，1），即扩充4行，列上不变，结果为：[[0,0],[0,0],[0,0],[0,0]]
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet  # 求输入数据与各样本数据的差
    sqDiffMat = diffMat ** 2  # 对各元素求平方
    sqDistances = sqDiffMat.sum(axis=1)  # 对各条数据求和，一行是一条
    distances = sqDistances ** 0.5  # 对数据开根号
    sortedDistIndicies = distances.argsort()  # 对数据按从小到达排序，并记录下原始数据的下标
    # 选择距离最小的k个点
    classCount = {}
    for i in range(k):
        votelabel = labels[sortedDistIndicies[i]]
        classCount[votelabel] = classCount.get(votelabel, 0) + 1
        # 字典的get(key,default):表示从字典中查找键为key的对象，有就返回value值，如果没有就返回default.
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1),
                              reverse=True)  # operator.itemgetter(1)表示按照第二个元素的次序对元组进行排序
    return sortedClassCount[0][0]

def createDataSet():
    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    labels = ['A', 'A', 'B', 'B']
    return group, labels
dataSets, Labels = createDataSet()
result = classify([0, 0], dataSets, Labels, 2)
print(result)

参考：《机器学习实战》、《机器学习》