机器学习实战|使用K-临近算法改进约会网站的配对效果

1 准备数据：从文本文件中解析数据

datingTestSet.txt:

每列分别代表每年获得的飞行常客里程数、玩游戏视频所耗时间百分比、每周消费的冰淇淋公升数、不喜欢/魅力一般/极具魅力（即标签）

datingTestSet2.txt:

使用file2matrix函数处理输入格式问题，使分类器可以接受：
输入为文件名字符串，输出为训练样本矩阵和类标签向量。代码如下：

def file2matrix(filename):
    fr = open(filename)
    arrayOLines = fr.readlines()  # 用于读取所有行并返回列表
    numberOfLines = len(arrayOLines)
    returnMat = zeros((numberOfLines, 3))  # 返回给定形状和类型的新数组，用0填充
    classLabelVector = []
    index = 0
    for line in arrayOLines:
        line = line.strip()  # strip() 方法用于移除字符串头尾指定的字符（默认为空格）或字符序列
        listFromLine = line.split('\t')
        # str.split(str="", num=string.count(str))通过指定分隔符对字符串进行切片，如果参数 num 有指定值，则分隔 num+1 个子字符串
        # 制表符\t用于在不使用表格的情况下在垂直方向按列对齐文本   num -- 分割次数。默认为 -1, 即分隔所有。  str -- 分隔符，默认为所有的空字符，包括空格、换行(\n)、制表符(\t)等
        returnMat[index, :] = listFromLine[0:3]
        # numpy的切片操作，一般结构如num[a:b,c:d]，分析时以逗号为分隔符，逗号之前为要取的num行的下标范围(a到b-1)，逗号之后为要取的num列的下标范围(c到d-1)；如果是这种num[:b,c:d]，a的值未指定，那么a为最小值0；如果是这种num[a:,c:d]，b的值未指定，那么b为最大值；c、d的情况同理可得。
        # 如果遇到num[a:b,None]，表示该维不进行切片，而是将该维整体作为数组元素处理，最后形成一个三维数组
        classLabelVector.append(int(listFromLine[-1]))  #索引值-1表示列表中最后一列元素
        # ！！！必须明确通知解释器告知列表中存储的元素值为整形，否则会将这些元素当作字符串处理
        index += 1
    return returnMat, classLabelVector

命令行中运行：

2 分析数据：使用matplotlib创建散点图

涉及的一些函数：
add_subplot(abc):将画布分割成a行b列，图象画在从左到右从上到下的第c块
scatter(x,y) 在向量 x 和 y 指定的位置创建一个包含圆形的散点图。该类型的图形也称为气泡图

绘制出散点图如图：

该散点图使用datingDataMat矩阵的第二列、第三列数据，分别表示特征值“玩视频所耗时间百分比”和"每周所消费冰淇淋公升书"
此时没有使用样本分类的特征值，不能获得有效信息。
一般会采用色彩或其他记号来标记不同样本分类，以更好理解数据信息

ax.scatter(datingDataMat[:, 1], datingDataMat[:, 2], 15.0 * array(datingLabels), 15.0 * array(datingLabels))

注：*15用于放大散点的尺寸，便于观察

3 准备数据：归一化数值

常用方法：将取值范围处理为0到1或-1到1之间
如转化为0-1区间内的值可用公式：

newValue=(oldValue-min)/(max-min)

min、max分别为数据集中的最小特征值和最大特征值。
下面使用autoNorm()函数自动将数字特征值转化为0到1的区间

def autoNorm(dataSet):
    minVals = dataSet.min(0)  # 参数0表示沿着列取最小值，参数1表示沿着行取最小值
    maxVals = dataSet.max(0)
    ranges = maxVals - minVals
    normDataSet = zeros(shape(dataSet))  # 新建的数据集和dataSet同一维度
    m = dataSet.shape[0]  # 取行数
    normDataSet = dataSet - tile(minVals, (m, 1))
    normDataSet = normDataSet / tile(ranges, (m, 1))
    # 注:这里是具体特征值的相除。在numpy库中，矩阵除法需要使用函数linalg.solve(matA,matB)
    return normDataSet, ranges, minVals

在命令行中执行：

normMat,ranges,minVals=kNN.autoNorm(datingDataMat)

注：返回ranges,minVals是为了后序测试数据

4 测试算法：作为完整程序验证分类器

此处使用错误率来检测分类器的性能：分类器给出错误结果的次数除以测试数据的总数

def datingClassTest():
    hoRatio = 0.20
    datingDataMat, datingLabels = file2matrix('datingTestSet2.txt')
    normMat, ranges, minVals = autoNorm(datingDataMat)  # 归一化
    m = normMat.shape[0]
    numTestVecs = int(m * hoRatio)  # 取全部数据的10%用作测试，即这里一共有numTestVecs个测试数据
    errorCount = 0.0
    for i in range(numTestVecs):  # 测试集：从0到numTestVecs
        classifierResult = classify0(normMat[i, :], normMat[numTestVecs:m, :], datingLabels[numTestVecs:m], 3)
        # 第一项是10%的测试数据，第二项是90%的训练数据，第三项是90%训练数据对应的标签，第四项是k的取值
        print("the classifier came back with: %d,the real answer is: %d" % (classifierResult, datingLabels[i]))
        if classifierResult != datingLabels[i]:
            errorCount += 1.0
    print("the total error rate is: %f" % (errorCount / float(numTestVecs)))

kNN.datingClassTest()

5 使用算法：构建完整可用系统

def classifyPerson():
    resultList = ['not at all', 'in small doses', 'in large doses']
    percentTats = float(input("percentage of time spent playing video games?"))
    ffMiles = float(input("frequent filter miles earned per year?"))
    iceCream = float(input("liters of ice cream consumed per year?"))
    datingDataMat, datingLabels = file2matrix('datingTestSet2.txt')
    normMat, ranges, minVals = autoNorm(datingDataMat)
    inArr = array([ffMiles, percentTats, iceCream])
    classifierResult = classify0((inArr - minVals) / ranges, normMat, datingLabels, 3)
    print("You will probably like this person:", resultList[classifierResult - 1])

kNN.classifyPerson()

附：完整代码

kNN.py

from numpy import *
import numpy as np
import operator
import matplotlib
import matplotlib.pyplot as plt


def createDataSet():
    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    labels = ['A', 'A', 'B', 'B']
    return group, labels


def classify0(inX, dataSet, labels, k):  # inX为用于分类的输入向量，dataSet为输入的训练样本集，labels为标签向量，k为选择最近邻居的数目
    dataSetSize = dataSet.shape[0]  # 获取行数
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet
    # tile(inx, (datasetsize, 1)):将矩阵inx纵向复制datasetsize份（成了datasetsize行），再横向复制一份
    # title（对象矩阵,([m,] k )):title函数是个复制函数，作用是将对象矩阵作为一个单元进行横向和纵向复制，形成一个m*k的矩阵。注意的是，当()只有一个数值时，只会横向复制。
    # 此处是将变量集复制为和训练集结构一样的矩阵，再和训练集进行矩阵计算，得到每个轴距。
    sqDiffMat = diffMat ** 2
    sqDistances = sqDiffMat.sum(axis=1)  # 将矩阵的各行相加
    # sum(对象，axis=0/1)或者对象.sum(axis=0/1):axis=0代表对象同列元素相加;axis=1 同行的元素相加，每行返回一个值；不带axis则表示所有元素相加
    distances = sqDistances ** 0.5
    sortedDistIndicies = distances.argsort()  # distances.argsort():对distances进行从小到大排序，返回对应的索引。如排序后得到[3,2,0,1]，最小的是排序对象的索引号为3的元素。
    classCount = {}  # 定义空字典
    for i in range(k):  # 选择距离最小的k个点
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
        # classcount[voteilabel]：统计classcount中每个标签出现的次数
        # get(voteilabel,0)：原型为get(key,默认值)，作用是获取key对应的值，如果不存在key,则新增key,值为默认值
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    # 字典items方法：将字典中所有项以列表方式返回；iteritems方法作用：与items方法相比作用大致相同，只是它的返回值不是列表，而是一个迭代器
    # 按照每个key的值对每对keyvalue进行降序排序
    # sorted(对象,排序值，reverse=True/False)   sort 是应用在 list 上的方法，sorted 可以对所有可迭代的对象进行排序操作。
    # ist.sort(*, key=None, reverse=False) 此方法会对列表进行原地排序，默认排序为升序。
    # key 指定带有一个参数的函数，用于从每个列表元素中提取比较键 (例如 key=str.lower)，可以是匿名函数，也可是自定义的函数。 key函数排序的过程中，对应于列表中每一项的键会被计算一次。 默认值 None 表示直接对列表项排序而不计算一个单独的键值。
    # operator模块提供的itemgetter函数用于获取对象的哪些维的数据
    return sortedClassCount[0][0]


def file2matrix(filename):
    fr = open(filename)
    arrayOLines = fr.readlines()  # 用于读取所有行并返回列表
    numberOfLines = len(arrayOLines)
    returnMat = zeros((numberOfLines, 3))  # 返回给定形状和类型的新数组，用0填充
    classLabelVector = []
    index = 0
    for line in arrayOLines:
        line = line.strip()  # strip() 方法用于移除字符串头尾指定的字符（默认为空格）或字符序列
        listFromLine = line.split('\t')
        # str.split(str="", num=string.count(str))通过指定分隔符对字符串进行切片，如果参数 num 有指定值，则分隔 num+1 个子字符串
        # 制表符\t用于在不使用表格的情况下在垂直方向按列对齐文本   num -- 分割次数。默认为 -1, 即分隔所有。  str -- 分隔符，默认为所有的空字符，包括空格、换行(\n)、制表符(\t)等
        returnMat[index, :] = listFromLine[0:3]
        # numpy的切片操作，一般结构如num[a:b,c:d]，分析时以逗号为分隔符，逗号之前为要取的num行的下标范围(a到b-1)，逗号之后为要取的num列的下标范围(c到d-1)；如果是这种num[:b,c:d]，a的值未指定，那么a为最小值0；如果是这种num[a:,c:d]，b的值未指定，那么b为最大值；c、d的情况同理可得。
        # 如果遇到num[a:b,None]，表示该维不进行切片，而是将该维整体作为数组元素处理，最后形成一个三维数组
        classLabelVector.append(int(listFromLine[-1]))  # 索引值-1表示列表中最后一列元素
        # ！！！必须明确通知解释器告知列表中存储的元素值为整形，否则会将这些元素当作字符串处理
        index += 1
    return returnMat, classLabelVector


def autoNorm(dataSet):  # 进行归一化
    minVals = dataSet.min(0)  # 参数0表示沿着列取最小值，参数1表示沿着行取最小值
    maxVals = dataSet.max(0)
    ranges = maxVals - minVals
    normDataSet = zeros(shape(dataSet))  # 新建的数据集和dataSet同一维度
    m = dataSet.shape[0]  # 取行数
    normDataSet = dataSet - tile(minVals, (m, 1))
    normDataSet = normDataSet / tile(ranges, (m, 1))
    # 注:这里是具体特征值的相除。在numpy库中，矩阵除法需要使用函数linalg.solve(matA,matB)
    return normDataSet, ranges, minVals


def datingClassTest():
    hoRatio = 0.20
    datingDataMat, datingLabels = file2matrix('datingTestSet2.txt')
    normMat, ranges, minVals = autoNorm(datingDataMat)  # 归一化
    m = normMat.shape[0]
    numTestVecs = int(m * hoRatio)  # 取全部数据的10%用作测试，即这里一共有numTestVecs个测试数据
    errorCount = 0.0
    for i in range(numTestVecs):  # 测试集：从0到numTestVecs
        classifierResult = classify0(normMat[i, :], normMat[numTestVecs:m, :], datingLabels[numTestVecs:m], 3)
        # 第一项是10%的测试数据，第二项是90%的训练数据，第三项是90%训练数据对应的标签，第四项是k的取值
        print("the classifier came back with: %d,the real answer is: %d" % (classifierResult, datingLabels[i]))
        if classifierResult != datingLabels[i]:
            errorCount += 1.0
    print("the total error rate is: %f" % (errorCount / float(numTestVecs)))


def classifyPerson():
    resultList = ['not at all', 'in small doses', 'in large doses']
    percentTats = float(input("percentage of time spent playing video games?"))
    ffMiles = float(input("frequent filter miles earned per year?"))
    iceCream = float(input("liters of ice cream consumed per year?"))
    datingDataMat, datingLabels = file2matrix('datingTestSet2.txt')
    normMat, ranges, minVals = autoNorm(datingDataMat)
    inArr = array([ffMiles, percentTats, iceCream])
    classifierResult = classify0((inArr - minVals) / ranges, normMat, datingLabels, 3)
    print("You will probably like this person:", resultList[classifierResult - 1])

main.py

import kNN

if __name__ == '__main__':
    datingDataMat, datingLabels = kNN.file2matrix('datingTestSet2.txt')
    kNN.classifyPerson()