BP神经网络应用于手写数字识别--matlab程序

二：BP神经网络应用于字符识别

字符包括汉字，字母，数字和一些符号。汉字有几千个，字母有几十个，数字的类最少只有10个，所以选择简单的手写数字字符来实现。结合三个相关的程序和论文，一个是语音特征的分类（不调用神经网络工具箱相关函数实现），另外两个是关于手写数字识别的。处理的数据集是放在10个文件夹里，文件夹的名称对应存放的手写数字图片的数字，每个数字500张,每张图片的像素统一为28*28,如下

这5000张随机选取4500张进行训练，剩下的500张用来测试。为了能对BP神经网络有更深入的了解，选择一步步详细实现。

BP神经网络的特点：信号前向传递，信号反向传播。若输出存在误差，根据误差调整权值和阈值，使网络的输出接近预期。

在用BP神经网络进行预测之前要训练网络

训练过程

1.网络初始化：各个参数的确定包括输入，输出，隐含层的节点数，输入和隐含，隐含和输出层之间的权值，隐含，输出层的阈值，学习速度和激励函数。

2.计算隐含层输出

3.计算输出层输出

4.误差计算

5.权值更新

6.阈值更新

7.判断迭代是否结束

模型建立：

BP神经网络构建-BP神经网络训练-BP神经网络分类

1.确定神经网络的输入，输出。

输入是BP神经网络很重要的方面，输入的数据是手写字符经过预处理和特征提取后的数据。预处理有二值化，裁剪掉空白的区域，然后再统一大小为70*50为特征提取做准备。特征提取采用的是粗网格特征提取，把图像分成35个区域，每个区域100像素，统计区域中1像素所占的比例。经过预处理特征提取后，28*28图像转成1*35的特征矢量。提取完5000张图片后，依次把所有的特征存于一个矩阵（5000*35）中，最后在加上第36行，用来存放原图片的真值。于是最后得到是包含特征向量和真值的矩阵（5000*36），特征向量是神经网络的输入，真值是其输出。

2.神经的网络的训练

用matlab的rands函数来实现网络权值的初始化，网络结构为输入层35，隐藏层34，输出层10，学习速率为0.1，隐藏层激励函数为sigmoid函数。随机抽取4500张图片提取特征后输入，按照公式计算隐含层和输出层输出，误差，更新网络权值。

3.神经网络的预测

训练好神经网络之后，用随机抽取的500个数字字符对网络进行预测，输入特征向量，计算隐含层和输出层输出，得到最后预测的数据。同时计算每个数字的正确率和全体的正确率。最后得到的总体正确率为0.8004。

程序：

[plain]view plain copy 
   
 
 clc;  
 clearall;  
 closeall;  
 Files= dir('E:/Matlabdip/word_recognition/testdatabase');  
 LengthFiles= length(Files);  
 %========读取存在testdatabase下0-10个文件的全部图片========%  
 %========存放在number中，number{1}是数字0有500张========%  
 fori = 3:LengthFiles;     
     if strcmp(Files(i).name,'.')||strcmp(Files(i).name,'..')  
     else  
        number{i-2}=BatchReadImg(strcat('E:/Matlabdip/word_recognition/testdatabase','/',Files(i).name),0);  
     end   
 end  
 charvec1=zeros(35,5000);  
 %========对读取的图片预处理（二值化-裁剪-特征提取）========%  
  for i=1:10  
      for j=1:500  
         I1=number{1,i}{1,j};  
              Ibw = im2bw(I1,graythresh(I1));  
          bw2 = edu_imgcrop(Ibw);%对图像进行裁剪，使边框完全贴紧字符  
    
         charvec = edu_imgresize(bw2);%提取特征统计每个小区域中图像象素所占百分比作为特征数据  
         charvec1(:,(i-1)*500+j)=charvec;  
      end  
  end  
 index=[zeros(1,500),zeros(1,500)+1,...  
    zeros(1,500)+2,zeros(1,500)+3,zeros(1,500)+4,zeros(1,500)+5,zeros(1,500)+6,zeros(1,500)+7,zeros(1,500)+8,zeros(1,500)+9];  
 charvec1(36,:)=index;  
 %=========BP神经网络创建，训练和测试========%  
 %从1到5000间随机排序(在[0,1]之间产生5000个随机数)==将数据顺序打乱  
 k=rand(1,5000);  
 [m,n]=sort(k);  
    
    
 %输入输出数据  
 input=charvec1(1:35,:);  
 output1=charvec1(36,:);  
    
 %把输出从1维变成10维  
 fori=1:5000  
     switch output1(i)  
         case 0  
             output(:,i)=[1 0 0 0 0 0 0 0 0 0]';  
         case 1  
             output(:,i)=[0 1 0 0 0 0 0 0 0 0]';  
         case 2  
             output(:,i)=[0 0 1 0 0 0 0 0 0 0]';  
         case 3  
             output(:,i)=[0 0 0 1 0 0 0 0 0 0]';  
         case 4  
             output(:,i)=[0 0 0 0 1 0 0 0 0 0]';  
         case 5  
             output(:,i)=[0 0 0 0 0 1 0 0 0 0]';  
         case 6  
             output(:,i)=[0 0 0 0 0 0 1 0 0 0]';  
         case 7  
             output(:,i)=[0 0 0 0 0 0 0 1 0 0]';  
         case 8  
             output(:,i)=[0 0 0 0 0 0 0 0 1 0]';  
         case 9  
             output(:,i)=[0 0 0 0 0 0 0 0 0 1]';  
     end  
 end  
    
 %随机提取4500个样本为训练样本，500个样本为预测样本  
 input_train=input(:,n(1:4500));  
 output_train=output(:,n(1:4500));  
 input_test=input(:,n(4501:5000));  
 output_test=output(:,n(4501:5000));  
    
 % %输入数据归一化  
 %[inputn,inputps]=mapminmax(input_train);  
    
 %% 网络结构初始化  
 innum=35;  
 midnum=34;  
 outnum=10;  
    
    
 %权值初始化  
 w1=rands(midnum,innum);%输入到隐藏  
 b1=rands(midnum,1);  
 w2=rands(midnum,outnum);%隐藏到输出  
 b2=rands(outnum,1);  
    
 w2_1=w2;w2_2=w2_1;  
 w1_1=w1;w1_2=w1_1;  
 b1_1=b1;b1_2=b1_1;  
 b2_1=b2;b2_2=b2_1;  
    
 %学习率  
 xite=0.1;  
 alfa=0.01;  
    
 %% 网络训练  
 %for ii=1:10  
 %     E(ii)=0;  
     for i=1:1:4500  
        %% 网络预测输出  
         x=input_train(:,i);  
         % 隐含层输出  
         for j=1:1:midnum  
            I(j)=input_train(:,i)'*w1(j,:)'+b1(j);  
             Iout(j)=1/(1+exp(double(-I(j))));  
         end  
         % 输出层输出  
         yn=w2'*Iout'+b2;  
          
        %% 权值阀值修正  
         %计算误差  
         e=output_train(:,i)-yn;      
 %         E(ii)=E(ii)+sum(abs(e));  
          
         %计算权值变化率  
         dw2=e*Iout;  
         db2=e';  
         %=======由于采用的是sigmoid单元，所以要对每个输出单元以及隐藏单元计算误差项======%  
         for j=1:1:midnum  
             S=1/(1+exp(double(-I(j))));  
             FI(j)=S*(1-S);  
         end       
         for k=1:1:innum  
             for j=1:1:midnum  
                dw1(k,j)=FI(j)*x(k)*(w2(j,:)*e);%  
                 db1(j)=FI(j)*(w2(j,:)*e);  
             end  
         end  
             
         w1=w1_1+xite*dw1';  
         b1=b1_1+xite*db1';  
         w2=w2_1+xite*dw2';  
         b2=b2_1+xite*db2';  
          
         w1_2=w1_1;w1_1=w1;  
         w2_2=w2_1;w2_1=w2;  
         b1_2=b1_1;b1_1=b1;  
         b2_2=b2_1;b2_1=b2;  
     end  
 %end  
    
    
 %%% 语音特征信号分类  
 %inputn_test=mapminmax('apply',input_test,inputps);  
    
     for i=1:500%1500  
         %隐含层输出  
         for j=1:1:midnum  
            I(j)=input_test(:,i)'*w1(j,:)'+b1(j);  
             Iout(j)=1/(1+exp(double(-I(j))));  
         end  
         %输出层输出  
         fore(:,i)=w2'*Iout'+b2;  
     end  
    
    
    
    
 %% 结果分析  
 %根据网络输出找出数据属于哪类  
 fori=1:500  
    output_fore(i)=find(fore(:,i)==max(fore(:,i)))-1;  
 end  
    
 %BP网络预测误差  
 error=output_fore'-output1(n(4501:5000))';  
    
    
    
 %画出预测数字和实际数字的分类图  
 figure(1)  
 plot(output_fore,'r')  
 holdon  
 plot(output1(n(4501:5000))','b')  
 legend('预测数字','实际数字')  
    
 %画出误差图  
 figure(2)  
 plot(error)  
 title('BP网络分类误差','fontsize',12)  
 xlabel('输入数字','fontsize',12)  
 ylabel('分类误差','fontsize',12)  
    
 k=zeros(1,10);   
 %找出判断错误的分类属于哪一类  
 fori=1:500  
     if error(i)~=0  
         [b,c]=max(output_test(:,i));  
         switch c-1  
             case 1  
                 k(1)=k(1)+1;  
             case 2  
                 k(2)=k(2)+1;  
             case 3  
                 k(3)=k(3)+1;  
             case 4  
                 k(4)=k(4)+1;  
             case 5  
                 k(5)=k(5)+1;  
             case 6  
                 k(6)=k(6)+1;  
             case 7  
                 k(7)=k(7)+1;  
             case 8  
                 k(8)=k(8)+1;  
             case 9  
                 k(9)=k(9)+1;  
             case 0  
                 k(10)=k(10)+1;  
         end  
     end  
 end  
    
 %找出每类的个体和  
 kk=zeros(1,10);  
 fori=1:500  
     [b,c]=max(output_test(:,i));  
     switch c-1  
             case 1  
                 kk(1)=kk(1)+1;  
             case 2  
                 kk(2)=kk(2)+1;  
             case 3  
                 kk(3)=kk(3)+1;  
             case 4  
                 kk(4)=kk(4)+1;  
             case 5  
                 kk(5)=kk(5)+1;  
             case 6  
                 kk(6)=kk(6)+1;  
             case 7  
                 kk(7)=kk(7)+1;  
             case 8  
                 kk(8)=k(8)+1;  
             case 9  
                 kk(9)=kk(9)+1;  
             case 0  
                 kk(10)=kk(10)+1;  
     end  
 end  
    
 %正确率  
 rightridio=(kk-k)./kk  
    
 right=(sum(kk(:))-sum(k(:)))/sum(kk(:));  
    
    
 用到到函数：BatchImg  
    
    
 function [imglist]=BatchReadImg(rootpath,grayflag)  
 if nargin<2  
    disp('Not enough parameters!');  
    return;  
 end  
    
 filelist=dir(rootpath);  
 [filenum,temp]=size(filelist);  
 tempind=0;  
 imglist=cell(0);  
 for i=1:filenum  
      
    if strcmp(filelist(i).name,'.')|| strcmp(filelist(i).name,'..')||strcmp(filelist(i).name,'Desktop_1.ini')||strcmp(filelist(i).name,'Desktop_2.ini')  
          
    else  
        tempind=tempind+1;  
        imglist{tempind}=imread(strcat(rootpath,'/',filelist(i).name));  
    end  
 end  
 if grayflag==1  
    tempcount=size(imglist);  
    for j=1:tempcount(2)  
        imglist{j}=rgb2gray(imglist{j});  
    end  
 end  
 edu_imgcrop：  
 function bw2 = edu_imgcrop(bw)  
    
 %找到图像边界  
 [y2temp x2temp] = size(bw);  
 x1=1;  
 y1=1;  
 x2=x2temp;  
 y2=y2temp;  
    
 % 找左边空白  
 cntB=1;  
 while (sum(bw(:,cntB))==y2temp)  
    x1=x1+1;  
    cntB=cntB+1;  
 end  
    
 % 左边  
 cntB=1;  
 while (sum(bw(cntB,:))==x2temp)  
    y1=y1+1;  
    cntB=cntB+1;  
 end  
    
 % 上边  
 cntB=x2temp;  
 while (sum(bw(:,cntB))==y2temp)  
    x2=x2-1;  
    cntB=cntB-1;  
 end  
    
 % 下边  
 cntB=y2temp;  
 while (sum(bw(cntB,:))==x2temp)  
    y2=y2-1;  
    cntB=cntB-1;  
 end  
 bw2=imcrop(bw,[x1,y1,(x2-x1),(y2-y1)]);  
    
    
 edu_imgresize：  
 function lett = edu_imgresize(bw2)  
 % ======提取特征，转成5*7的特征矢量,把图像中每10*10的点进行划分相加，进行相加成一个点=====%  
 %======即统计每个小区域中图像象素所占百分比作为特征数据====%  
 bw_7050=imresize(bw2,[70,50]);  
 for cnt=1:7  
    for cnt2=1:5  
        Atemp=sum(bw_7050(((cnt*10-9):(cnt*10)),((cnt2*10-9):(cnt2*10))));%10*10box  
        lett((cnt-1)*5+cnt2)=sum(Atemp);  
    end  
 end  
 lett=((100-lett)/100);  
 lett=lett';  