机器学习实战：第二章：k-近邻算法

1. k-近邻算法概述

该算法采用测量不同特征值之间的距离方法进行分类。

• 优点：精度高、对异常值不敏感、无数据输入假定。
• 缺点：计算复杂、空间复杂度高。
• 适用数据范围：数值型和表称型。

工作原理：
存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据之后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法T恤样本集中特征最近似数据（最近邻）的分类标签。一般来说只选择样本数据集中前k个最相似的数据，通常k是不大于20的正整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

如何测试分类器：
通过大量的测试数据，我们可以得到分类器的错误率——分类器给出错误结果的次数除以测试执行的总数。错误率是常用的评估方法，主要用于评估分类器在某个数据集上的执行效果。

2. 最近邻算法示例

2.1 示例一——使用k-近邻算法改进约会网站的配对效果

• 三种类型：不喜欢的——1，魅力一般的——2，极具魅力的——3。
• 样本特征：每年获得的飞行常客里程数，玩视频游戏所耗时间百分比，每周消费的冰淇淋公升数。

导入数据集源码部分：

from numpy import *
import operator
from os import listdir

#读取数据
def file2matrix(filename):
    fr = open(filename)
    numberOfLines = len(fr.readlines())         #得到文件行数
    returnMat = zeros((numberOfLines,3))        #创建返回的特征矩阵
    classLabelVector = []                       #创建返回的标签数组  
    fr = open(filename)
    index = 0
    for line in fr.readlines():                 #解析文件数据到列表
        line = line.strip()                     #截取掉所有的回车符
        listFromLine = line.split('\t')         #使用tab字符\t将整行数据分割成一个元素列表
        returnMat[index,:] = listFromLine[0:3]  #选取前三个元素到特征矩阵中
        classLabelVector.append(int(listFromLine[-1])) #将最后一列存储到标签数组
        index += 1
    return returnMat,classLabelVector

2.1.1 导入数据集

在Python命令提示符下输入下面命令：

>>>import kNN
>>>datingDataMat, datingLabels = kNN.file2matrix('datingTestSet2.txt')

注意引入的文件是datingTestSet2.txt

进行结果测试：

>>>datingDataMat

array([[4.0920000e+04, 8.3269760e+00, 9.5395200e-01],
[1.4488000e+04, 7.1534690e+00, 1.6739040e+00],
[2.6052000e+04, 1.4418710e+00, 8.0512400e-01],
…,
[2.6575000e+04, 1.0650102e+01, 8.6662700e-01],
[4.8111000e+04, 9.1345280e+00, 7.2804500e-01],
[4.3757000e+04, 7.8826010e+00, 1.3324460e+00]])

>>>datingLabels[0:20]

[3, 2, 1, 1, 1, 1, 3, 3, 1, 3, 1, 1, 2, 1, 1, 1, 1, 1, 2, 3]

以上表示已经成功从数据集中导入数据。

2.1.2 分析数据：使用Matplotlib创建散点图

在Python命令提示符下输入下面命令：

>>>import matplotlib
>>>import matplotlib.pyplot as plt
>>>fig = plt.figure()
>>>ax = fig.add_subplot(111)
>>>ax.scatter(datingDataMat[:,1], datingDataMat[:,2])
>>>plt.show()

效果图：

以上散点图中，横坐标代表玩视频游戏所耗时间百分比，纵坐标表示每周消费的冰淇淋公升数。
以上的散点图并没有明显的数据模式信息，所以采用scatter函数来标识不同类别的散点，代码如下：

>>>import matplotlib
>>>import matplotlib.pyplot as plt
>>>fig = plt.figure()
>>>ax = fig.add_subplot(111)
>>>ax.scatter(datingDataMat[:,1], datingDataMat[:,2], >>>15.0*array(datingLabels), 15.0*array(datingLabels))
>>>plt.show()

分别用三种颜色来代表三种类型。

2.1.3 归一化数值

在这个示例中有三个不同的特征，并且其中“每年获得的飞行常客里程数”的数据大小与其他两个的大小差距很大，在处理这种不同取值范围的特征值时，通常采用数值归一化，**例如将取值范围处理为0-1或者-1-1之间。**公式为：newValue = (oldValue - min ) / (max - min)。

示例代码：