机器学习——KNN算法（二）

接着上次的博客，再讲讲KNN算法的具体应用。这里用到了书本中提供的数据集datingTestSet2。

数据集的有三个特征，第四列是类别标签。但是仔细观察会发现第一列的数值明显比其他两列大，这就回造成一个问题就是，当计算位置数据与数据集中每个数据的距离时，第一个参数的作用远大于其他两列，这就需要将数据进行归一化。在之前先要将txt文件中的数据转化为一个矩阵。

def file2matrix(filename):
    with open(filename) as fr:
        arrayOLines = fr.readlines()

    numberOfLines = len(arrayOLines)
    returnMat = zeros((numberOfLines, 3))
    classLabelVector = []
    index = 0

    for line in arrayOLines:
        line = line.strip()
        listFromLine = line.split("\t")
        returnMat[index, :] = listFromLine[0:3]
        classLabelVector.append(int(listFromLine[-1]))
        index += 1

    return returnMat, classLabelVector

在进行归一化，归一化公式为newvalue = (oldvalue - min) / (max - min)，得到的新值得范围为0~1，具体代码如下。

def autoNorm(dataSet):
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)
    ranges = maxVals - minVals
    normDataSet = zeros(shape(dataSet))
    m = dataSet.shape[0]

    normDataSet = dataSet - tile(minVals, (m, 1))
    normDataSet = normDataSet / tile(ranges, (m, 1))

    return normDataSet, ranges, minVals

接下来就可以对KNN算法进行测试了，将数据集中一部分作为训练集，一部分作为测试集。得到的结果与数据分类标签进行比较，可以计算出错误率。

def datingClassTest():
    hoRatio = 0.10
    datingDataMat, datingLabels = file2matrix("datingTestSet2.txt")
    normMat, ranges, minVals = autoNorm(datingDataMat)
    m = normMat.shape[0]
    numTestVecs = int(m * hoRatio)
    errorCount = 0.0
    for i in range(numTestVecs):
        classifierResult = classify0(normMat[i,:], normMat[numTestVecs:m, :],
            datingLabels[numTestVecs:m], 3)
        print "the classifier came back with: %d, the real answer is: %d" % (classifierResult, datingLabels[i])

        if (classifierResult != datingLabels[i]):
            errorCount += 1.0
    print "the total error rate is: %f" % (errorCount / float(numTestVecs))

运行一下的结果：