决策树的matlab实现(运用在手写数字的0,1识别)
[1]单个决策树的实现。
一、载入实验数据
%载入实验的原始数据
images = loadMNISTImages('train-images.idx3-ubyte');
labels = loadMNISTLabels('train-labels.idx1-ubyte');
images_0=images(:,labels==0);
images_1=images(:,labels==1);
Images_te = loadMNISTImages('t10k-images.idx3-ubyte');
Labels_te = loadMNISTLabels('t10k-labels.idx1-ubyte');
Images_te_0=Images_te(:,Labels_te==0);
Images_te_1=Images_te(:,Labels_te==1);
%对原始数据进行处理
X=[images_0 images_1]'; %将0和1的训练样本拼接成新的矩阵。注意此时时是每一行代表一个样本。
Y=[zeros(5923,1) ones(6724,1)]; %生成训练样本相应的类别标签,是一个列向量。每一个元素代表相应样本所属于的类别。
Images_te_0=Images_te_0'; %测试样本的数字0,每一行代表一个样本。
Images_te_1=Images_te_1'; % 测试样本的数字1,每一行代表一个样本.
二、构建决策树
t=treefit(X,Y);
% X是训练样本,一定注意是每一行代表一个样本数据。Y是训练样本
% 所对应的类别标签,仍旧是一个列向量。t就是根据训练样本构建的一个决策树。
三、用决策树对测试样本进行分类
result0=treeval(t,Images_te_0');
% 对测试样本手写数字0进行识别。result0为一个列向量,每一元素表示对应样本被识别为的类。
%treeval函数的格式为treeval(t,X),其中,t为构建的决策树,X为测试样本。一定要注意X的每一行表示的是一个样本。
result1=treeval(t,Images_te_1'); %对测试样本数字1进行分类。
四、错误率分析
error0=find(result~=0);
error1=find(result~=1); %找出被识别错误的数字0和1的索引。
rate0=size(error0,1)/980;
rate1=size(error1,1)/980; %分别计算错误率。
实验结果为