机器学习实战——练习（kNN——手写识别系统）

kNN——手写识别系统

其实上一节的 “kNN——约会网站” 已经写得非常详细了，那这一节无非就是把图片转成向量来处理。

先描述下图片，图片为32*32的黑白图片
训练集：2000张，每个数字包括200张
测试集：900张

直接上代码：

# 手写识别系统
# 路径大家根据实际修改
def img2vector(filename):
    returnVect = zeros((1, 1024))
    fr = open(filename)
    for i in range(32):
        lineStr = fr.readline()
        for j in range(32):
            returnVect[0, 32*i+j] = int(lineStr[j])
    return returnVect


def handwritingClassTest():
    hwLabels = []
    trainingFileList = listdir('digits/trainingDigits')           #load the training set
    print(trainingFileList)
    m = len(trainingFileList)
    trainingMat = zeros((m, 1024))
    for i in range(m):
        fileNameStr = trainingFileList[i]
        fileStr = fileNameStr.split('.')[0]     # take off .txt
        classNumStr = int(fileStr.split('_')[0])
        hwLabels.append(classNumStr)
        trainingMat[i, :] = img2vector('digits/trainingDigits/%s' % fileNameStr)
    testFileList = listdir('digits/testDigits')        # iterate through the test set
    errorCount = 0.0
    mTest = len(testFileList)
    for i in range(mTest):
        fileNameStr = testFileList[i]
        fileStr = fileNameStr.split('.')[0]     #take off .txt
        classNumStr = int(fileStr.split('_')[0])
        vectorUnderTest = img2vector('digits/testDigits/%s' % fileNameStr)
        classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)
        print("the classifier came back with: %d, the real answer is: %d" % (classifierResult, classNumStr))
        if (classifierResult != classNumStr): errorCount += 1.0
    print("\nthe total number of errors is: %d" % errorCount)
    print("\nthe total error rate is: %f" % (errorCount/float(mTest)))

结果：

>>>the total number of errors is: 11

>>>the total error rate is: 0.011628

可以明显感觉算法执行效率并不高，原因是：
算法需要为每个测试向量做2000次距离计算
每个距离计算包括了1024个维度的浮点运算，总计执行900次
此外，还需为测试向量准备2MB的存储空间，非常耗时
另一缺陷是无法给出任何数据的基础结构信息

数据连接：