机器学习系列（二）k-近邻算法（3）

本文重现书中2.3节示例，手写识别系统。

虽然是手写识别，但是简化来看，书中描述的其实是一个分类标签有十个（0-9），而特征向量有32*32=1024个的简单分类问题。我们都知道手写识别算法并没有如此简单，因此，对于本文所采用的方法，或者也可以说起了个“手写识别”的名字，而非手写识别的示例，大家尽可不必吐槽。

话不多说，先介绍数据。本示例采用的数据在github上的digits文件夹，包含训练集数据和测试集数据。可以看到，数据由一个个txt文件构成，文件名的第一个数字为该数据集对应标签，下划线后的数字对应为该标签的第n个数据。文件中的数据只包含0和1，因此无需进行归一化。

为了在Matlab中实现k-近邻算法，首先应当将数据读入矩阵，然后将矩阵输入分类函数进行测试。整个过程代码如下

clc;
clear;
%导入训练集数据及训练集标签
trainingDataFolder = 'D:\matlab workspace\MachineLearning\kNN\digits\trainingDigits';
trainingDataFiles = dir([trainingDataFolder '\*.txt']);
for i = 1:length(trainingDataFiles)
    name{i,1} = trainingDataFiles(i).name;
    trainingLabels(i,1) = name{i,1}(1);
    [a1] = textread(strcat(trainingDataFolder,'\',name{i,1}),'%s');
    for j = 1:length(a1)
        for k = 1:length(a1)
            trainingData(i,32*(j-1)+k) = a1{j}(k);
        end
    end
end
%导入测试集数据及测试集标签
testDataFolder = 'D:\matlab workspace\MachineLearning\kNN\digits\testDigits';
testDataFiles = dir([testDataFolder '\*.txt']);
for i = 1:length(testDataFiles)
    name{i,1} = testDataFiles(i).name;
    testLabels(i,1) = name{i,1}(1);
    [a2] = textread(strcat(testDataFolder,'\',name{i,1}),'%s');
    for j = 1:length(a2)
        for k = 1:length(a2)
            testData(i,32*(j-1)+k) = a2{j}(k);
        end
    end
end
%测试分类器
errorCount = 0;
for i = 1 : length(testLabels)
    classifierResult(i,1) = classify0(testData(i,:),trainingData,trainingLabels,3);
%     fprintf('Output:%c,Original:%c\n',classifierResult(i,1),testLabels(i));
    if ~strcmp(classifierResult(i),testLabels(i))
        errorCount = errorCount + 1;
    end
end
errorRate = errorCount/length(testLabels);

测试的errorRate = 1.37%。整个 源码（Matlab）及数据均可在本人github（https://github.com/guankaer/kNN）上查看。