机器学习实战【1】（kNN）

本博客记录《机器学习实战》（MachineLearningInAction）的学习过程，包括算法介绍和python实现。

kNN算法

kNN算法计算输入的新数据与样本集中所有数据的距离，取其中距离最近（特征最相似）的k个数据，用其中出现次数最多的分类作为新数据的分类。

数据准备

通常使用的数据从外部导入，但为了了解数据格式，书中还给出了直接创建简单数据集的方法。

# 创建简单数据集，数据集用numpy中的ndarray数组存储，标签用list存储
def createDataSet():
    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    labels = ['A', 'A', 'B', 'B']
    return group, labels

# 从文件中读取数据生成数据集
def file2matrix(filename):
    fr = open(filename)
    arrayOfLines = fr.readlines()
    numberOfLines = len(arrayOfLines)
    retMat = zeros((numberOfLines, 3))
    classLabelVector = []
    index = 0
    for line in arrayOfLines:
        line = line.strip()
        listFromLine = line.split('\t')
        retMat[index, :] = listFromLine[0:3]
        classLabelVector.append(int(listFromLine[-1]))
        index += 1
    return retMat, classLabelVector

# 读取的数据集格式如下，数据中间用tab隔开
40920   8.326976    0.953952    3
14488   7.153469    1.673904    2
26052   1.441871    0.805124    1

算法实现

def classify0(inX, dataSet, labels, k):
    """
    给定数据集以及输入数据，返回其kNN分类结果

    inX -- 输入数据
    dataSet -- 数据集
    labels -- 标签集
    k -- 算法参数
    """
    dataSetSize = dataSet.shape[0]
    # 计算距离
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet
    sqDiffMat = diffMat ** 2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances ** 0.5
    # 距离排序
    sortedDistIndices = distances.argsort()
    # 字典存储k个最近邻数据中每个标签的分类次数，票数最多作为最后的分类
    classCount = {}
    for i in range(k):
        voteIlabel = labels[sortedDistIndices[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]

使用算法进行分类

这种直接计算欧氏距离的方法有一个问题，数据特征中较大的数值在距离计算中会占更大的比例，于是在分类时要先将数据归一化。

# 数据归一化
def autoNorm(dataSet):
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)
    ranges = maxVals - minVals
    normDataSet = zeros(shape(dataSet))
    m = dataSet.shape[0]
    normDataSet = dataSet - tile(minVals, (m, 1))
    normDataSet = normDataSet / tile(ranges, (m, 1))
    return normDataSet, ranges, minVals

最后，对算法进行应用，读取一个数据集测试分类准确率。

def datingClassTest():
    # 测试集所占比例
    hoRatio = 0.1
    # 读取数据集
    datingDataMat, datingLabels = file2matrix('datingTestSet2.txt')
    # 数据归一化
    normMat, ranges, minVals = autoNorm(datingDataMat)
    m = normMat.shape[0]
    numTestVecs = int(m*hoRatio)
    errorCount = 0.0
    for i in range(numTestVecs):
        classifyResult = classify0(normMat[i, :], normMat[numTestVecs:m, :], datingLabels[numTestVecs:m], 5)
        print("preditc:%d, answer: %d" % (classifyResult, datingLabels[i]))
        if(classifyResult != datingLabels[i]):
            errorCount += 1.0
    print("error rate:%.2f" % (errorCount / numTestVecs))

最后输出的错误率是0.04，分类效果还是不错的，kNN算法的缺点很明显，因为每次要计算新数据与所有数据的距离，所以无法事先训练，算法的时间复杂度比较高，同时因为要把整个数据集读入内存进行计算，使得空间复杂度也很高。优点是算法简单，易于理解。