k-近邻算法（KNN）

简介

k-近邻算法就是采用测量不同特征值之间的距离方法进行分类。

工作原理：

存在一个样本数据集合，就是训练样本集，并且每个数据都有标签。即每一个数据与所属分类的对应关系。所以KNN是一个监督式学习。然后，输入没有标签的数据，将新数据的每个特征与训练样本集中数据对应的特征进行比较，最后算法提取训练样本集中特征最相似数据的分类标签。通常情况下，我们选择前k个最相似的数据，而选择k个最相似数据中出现次数最多的分类，就是新数据的分类。

k-近邻算法

下面，我们先通过自己生成一写数据，写出k-近邻算法。

import numpy as np
import operator

# 创建简单的数据
def createDataSet():
    trainDataSet = np.array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    trainDataLabel = ['A', 'A', 'B', 'B']
    return trainDataSet, trainDataLabel

# k-近邻算法
def KNN(testData, trainDataSet, trainDataLabel, k):
    dataSetSize = trainDataSet.shape[0] # 训练数据集的大小
    diffMat = np.tile(testData, (dataSetSize, 1)) - trainDataSet # 新数据减去所有的训练数据
    sqDiffMat = diffMat ** 2 # 求平方
    sqdistances = sqDiffMat.sum(axis=1) # 每一行求和
    distances = sqdistances ** 0.5 # 开根号
    sortDistances = np.argsort(distances) # 返回排序之后的位置下标

    classCount = {}
    # 选择距离最小的k个点
    for i in range(k):
        voteIlabel = trainDataLabel[sortDistances[i]] # 获取标签
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1 # 进行累加
    # 取出value值进行排序    
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]

案例：使用k-近邻算法改进约会网站的配对效果

步骤：

• 收集数据：本案例提供文本，一般问题，我们可以自己手机数据
• 准备数据：使用python解析文本文件
• 分析数据：使用matplotlib画二维扩散图
• 测试算法：使用部分数据作为测试算法
• 使用算法：产生简单的命令行程序，然后输入一些特征数据判断对方是否为自己喜欢的类型

数据介绍：

数据一共有三个特征，包括每年获得的飞行常客里程数、玩视频游戏所耗费时间百分比和每周消费的冰淇淋公升数。数据的标签也是有三种类型，不喜欢的人、魅力一般的人和极具魅力的人。本案例的目的，是 通过KNN算法，通过输入的特征，来判断新输入的数据，是否为喜欢的类型，进而决定是否与其约会。

1.准备数据：从文本文件中的解析数据

数据是准备好的文本文件，我们需要将数据从文本文件提取出来，转化为计算机可处理的数据。

# 文本数据处理，转化成计算机可以使用的数据
def file2matrix(filename):
    fr = open(filename)
    arrayOLines = fr.readlines() # 读文件
    numberOfLines = len(arrayOLines) # 获取文件行数
    returnMat = np.zeros((numberOfLines, 3)) # 生成存储数据的全0矩阵
    classLabelVector = []
    index = 0
    for line in arrayOLines:
        line = line.strip()
        listFromLine = line.split('\t')
        returnMat[index, :] = listFromLine[0:3] # 讲数据写入矩阵中
        classLabelVector.append(int(listFromLine[-1])) # 获取标签数据
        index += 1
    return returnMat, classLabelVector

2.分析数据：使用matplotlib创建散点图

我们利用scatter函数标记散点图上的点，利用变量datingLabels存储的类标签属性。在散点图上绘制色彩不同、尺寸不同的点。

# 将数据画出来，看数据的分布情况
def plotData(datingDataMat, datingLabels):
    fig = plt.figure()
    ax = fig.add_subplot(111)
    ax.scatter(datingDataMat[:, 1], datingDataMat[:, 2], 15.0 * np.array(datingLabels),
               15.0 * np.array(datingLabels))
    plt.show()

 

3.准备数据：归一化数值

从数据中，我们可以看到每年获得的飞行常客里程数的值过大，所有对计算结果的值影响最大。但是我们应让三个特征同等重要。所以，我们对数据进行归一化。归一化公式：

归一化可以将数字特征值转化为0到1的区间

# 归一化数据
def autoNorm(dataSet):
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)
    ranges = maxVals - minVals
    normDataSet = np.zeros(np.shape(dataSet))
    m = dataSet.shape[0]
    normDataSet = dataSet - np.tile(minVals, (m,1))
    normDataSet = normDataSet / np.tile(ranges, (m,1))
    return normDataSet, ranges, minVals

4.测试算法：作为完整程序验证分类器

读取数据，查看k-近邻算法的分类结果，用错误率做评判标准。

# 测试
def datingClassTest():
    hoRatio = 0.10
    datingDataMat, datingLabels = file2matrix('./datingTestSet2.txt')
    normMat, ranges, minVals = autoNorm(datingDataMat)
    m = normMat.shape[0]
    numTestVecs = int(m*hoRatio)
    errorCount = 0.0
    for i in range(numTestVecs):
        classifierResult = KNN(normMat[i,:], normMat[numTestVecs:m,:],datingLabels[numTestVecs:m], 3)
        print('the classifier came back with: %d, the real answer is: %d' % (classifierResult, datingLabels[i]))
        if (classifierResult != datingLabels[i]):
            errorCount += 1.0
    print("the total error rate is: %f" % (errorCount/float(numTestVecs)))

5.使用算法：构建完整可用系统

输入自己的新数据，然后进行分类，给出分类结果

# 测试函数
def classifyPerson():
    resultList = ['not at all', 'in small deses', 'in large doses']
    percentTate = float(input("frequent flier miles earned per year?"+"  "))
    ffMiles = float(input("frequent flier miles earned per year?" + "  "))
    iceCream = float(input("frequent flier miles earned per year?" + "  "))
    datingDataMat, datingLabels = file2matrix('./datingTestSet2.txt')
    normMat, ranges, minVals = autoNorm(datingDataMat)
    inArr = np.array([ffMiles, percentTate, iceCream])
    classifierResult = KNN((inArr-minVals)/ranges, normMat, datingLabels, 3)
    print("You will probably like this person: ", resultList[classifierResult - 1])

k-近邻算法总结完毕，k-近邻算法是一个比较简单基础的算法。求特征相似程度是使用了欧式距离公式，本篇文章是参考了机器学习实战这本书。如果不清楚的地方，可以看下这本书。最后，附上完整代码的链接。机器学习-KNN算法