BP神经网络 MATLAB实验报告

实验三 BP****神经网络

一、实验目的

掌握BP神经网络相关理论基础；

掌握BP神经网络的创建、训练及测试；

能够利用BP神经网络对数据进行分类。

二、实验内容

有60个数据，包含两个类别，每个数据有99个特征，前40个数据的类别标签为

label=[1 2 1 1 1 1 1 1 1 1

1 1 2 1 1 1 2 1 1 2

2 2 2 2 2 2 2 1 2 2

2 2 1 2 2 2 2 1 2 1]

用BP神经网络对后20个数据进行分类，实验数据见TD.txt文档。

三、实验步骤及实验内容（对实验步骤及实验内容、采用的参数进行详细阐述）

神经网络是机器学习中一种常见的数学模型，通过构建类似于大脑神经突触联接的结构，来进行信息处理。在应用神经网络的过程中，处理信息的单元一般分为三类：输入单元、输出单元和隐含单元。

输入单元是指输入的特征个数，在本实验中每个数据本身具有114个特征，故输入层应当是一个含有114个特征的向量。

本次分类数据类型在1和2之间，是二分类，本次输出的单元应当为一个数，此数的大小代表了数据的类别。

隐含单元是在输入与输出单元之间的单元，其作用是增加神经网络的参数量，通过调参得到更接近实际分类的输出结果。

本次实验为二分类，下面我们首先采用预测的方法对数据进行预测，进而进行分类。

如下图是网络的结构：

设计的网络是一个114输入，隐藏层中含有10个神经元个数，1个输出的网络结构。

下面我们来分步进行神经网络的构建。

1、 构造数据集

题设给出的数据在TXT文件中，我们打开TXT文件查看：

上图是部分txt文件内容，我们看到，每一行的首个数字代表了行号，每一行中的其他114个数据代表了114个特征值。

我们再拉到txt文件的最后查看：

此为前40个数据的标签。

我们可以选择将数据复制进matlab中。但为了方便以后可能的数据修改，我们采用matlab的load函数对txt文件进行导入。在此之前，需要把标签放置到另一个label文件中，并将他俩放置在matlab的当前目录下，相对引用文件路径，有如下代码：

data=load(‘./TD.txt’);

label=load(‘./label.txt’)

导入数据后我们对数据集进行设置。

我们知道数据集分为训练数据集与测试数据集，由于共有40个有标签的数据，我们人为地将其分为30个训练数据，10个测试数据。

同时，为了得到本次实验的结果，我们一并设置最终20个未知标签数据的输入格式，如下：

pre=data(41:60,2:115)';%未知数据

input_train = input(1:30,2:115)'; %训练集data

output_train =output(:,1:30); %训练集label

input_test = input(31:40,2:115)';

output_test =output(:,31:40);

2、 构建网络

神经网络的构建需要定义输入层神经元个数，输出层个数，并自行定义隐藏层神经元数量。由于输入为114个节点，输出为1节点，故我们可以设置隐藏层为10个节点。

3、 样本的数据归一化

样本数据的归一化可以使得样本与标签均在[-1,1]之间，但此步骤也不一定能使得训练结果更准确。

在归一化的过程中，我们需要分别归一化训练集，测试集，未知集数据。

4、 网络创建

Newff函数进行神经网络的创建。输入输入层个数，输出层个数，隐藏层个数，输入层至隐藏层采用tansig双极性S函数，隐藏层至输出层采用purelin纯线性函数进行输出。采用梯度下降法与牛顿法trainlm进行训练。

5、 网络参数配置

配置参数，epoch，学习率，训练目标即最小误差。

6、 神经网络训练

net=train(net,inputn,outputn);进行训练。

7、 测试样本归一化

由于先前训练样本进行了归一化操作，为了保持量纲一直，测试数据应当也进行归一化操作。

8、 测试输出反归一化与输出误差

将归一化的测试数据放置到网络中进行预测，预测结果当然是归一化的结果，故真实结果需要对得出的结果label进行还原。此处还原需要采用起先label归一化时得到的参数进行反归一化，若用错则会导致输出出错。

测试集得到结果后与真实的10个label进行比较绘图，得到测试结果与训练率。

9、 预测

接着对未知的20个样本进行预测操作，预测过程同测试集预测过程，得到结果。

由于最终样本需要是2分类，在0与1之间，故需要对训练出来的结果进行二分类。训练label为1,2.故我们规定预测值大于1.5为2，预测值小于1.5为1。

四、代码（调用库函数，详细分析参数及返回值）

%data=load('D:\建模美赛\图像处理\BP神经网络\TD.txt');  %绝对引用

%%第一步 读取数据

data=load('./TD.txt');%相对引用

label=load('./label.txt')

input=data;  %载入输入数据

output=label; %载入输出数据

%% 第二步 设置训练数据和预测数据

% 将指标变为列向量

pre=data(41:60,2:115)';

input_train = input(1:30,2:115)'; %训练集data

output_train =output(:,1:30); %训练集label

input_test = input(31:40,2:115)';

output_test =output(:,31:40);

%节点个数

inputnum=114; % 输入层节点数量

hiddennum=10; % 隐含层节点数量

outputnum=1; % 输出层节点数量

%% 第三本 训练样本数据归一化

[inputn,inputps]=mapminmax(input_train);%归一化到[-1,1]之间，inputps用来作下一次同样的归一化

[outputn,outputps]=mapminmax(output_train);

[pren,pres]=mapminmax(pre);

%% 第四步 构建BP神经网络

net=newff(inputn,outputn,hiddennum,{'tansig','purelin'},'trainlm');% 建立模型，传递函数使用purelin，采用梯度下降法训练

W1= net. iw{1, 1};         %输入层到中间层的权值

B1 = net.b{1};           %中间各层神经元阈值

 

W2 = net.lw{2,1};          %中间层到输出层的权值

B2 = net. b{2};           %输出层各神经元阈值

%% 第五步 网络参数配置（ 训练次数，学习速率，训练目标最小误差等）

net.trainParam.epochs=1000;     % 训练次数，这里设置为1000次

net.trainParam.lr=0.01;       % 学习速率，这里设置为0.01

net.trainParam.goal=0.00001;    % 训练目标最小误差，这里设置为0.00001

 

%% 第六步 BP神经网络训练

net=train(net,inputn,outputn);%开始训练，其中inputn,outputn分别为输入输出样本

%% 第七步 测试样本归一化

inputn_test=mapminmax('apply',input_test,inputps); % 对样本数据进行归一化

%% 第八步 BP神经网络预测

an=sim(net,inputn_test);              %用训练好的模型进行仿真

 

%% 第九步 预测结果反归一化与误差计算   

test_simu=mapminmax('reverse',an,outputps);    %把仿真得到的数据还原为原始的数量级

test_simu=(test_simu>1.5)+1

error=test_simu-output_test;            %预测值和真实值的误差

 

%%第十步 真实值与预测值误差比较

figure('units','normalized','position',[0.119 0.2 0.38 0.5])

plot(output_test,'bo-')

hold on

plot(test_simu,'r*-')

hold on

plot(error,'square','MarkerFaceColor','b')

legend('期望值','预测值','误差')

xlabel('数据组数')

ylabel('样本值')

title('BP神经网络测试集的预测值与实际值对比图')

[c,l]=size(output_test);

MAE1=sum(abs(error))/l;

MSE1=error*error'/l;

RMSE1=MSE1^(1/2);

disp(['-----------------------误差计算--------------------------'])

disp(['隐含层节点数为',num2str(hiddennum),'时的误差结果如下：'])

disp(['平均绝对误差MAE为：',num2str(MAE1)])

disp(['均方误差MSE为：    ',num2str(MSE1)])

disp(['均方根误差RMSE为： ',num2str(RMSE1)])

pre=mapminmax('apply',pre,pres);

res=sim(net,pre); 

result=mapminmax('reverse',res,outputps);%还原

result=(result>1.5)+1

五、实验结果与分析（结果截图并对结果进行详细分析）

1、测试集预测的结果如下：

由于每次训练的不同，10个测试数据一般准确个数为9或10。上左图为某次训练的测试集结果，右图为训练的各项信息，我们可以看到训练速度极快，表现率也好。

2、采用训练好的模型对剩下20项进行分类预测，得到结果：

Result=[2 2 1 1 1 1 1 1 2 2 1 1 2 1 1 1 2 1 1 1]

六、问题与解决方法、总结。

1、在代码实现过程中，由于训练时对训练数据进行了归一化处理，那么在测试时应当也对目标进行归一化处理，以保证训练数据与测试数据处于同一量纲。此外，由于训练时也对目标label进行了量纲处理，故在测试集测试出结果后也应当对量纲进反归一化处理，即采用初始处理label的归一化参数对得到的参数进行反归一化。否则结果将会出现错误。

2、其实本次实验是分类网络，但由于是二分类，且采用的激活函数等与预测网络类似，故本次实验尝试了采用预测网络对目标进行分类。只是在最后处理结果时加上了人为的1.5阈值标定。从结果上看，分类结果优异。但另一方面，若复杂的特征数据进行分类时，或进行大于二分类的多分类数据时，人为的1.5阈值标定或其他人为标定将会导致目标结果的不确定化。即我可以将阈值设置为1.5，可以将阈值设置为2……这样将会导致结果有较强的主观性。故本次实验我还进行了标准的分类网络操作。

分类网络不同于预测网络的是，其将一个label标签变作类似[0 1]组合的数组，以标定分类结果。

现给出代码：

%data=load('D:\建模美赛\图像处理\BP神经网络\TD.txt');  %绝对引用

%%第一步 读取数据

data=load('./TD.txt');%相对引用

label=load('./label.txt')

input=data;  %载入输入数据

output=zeros(2,40);

for i=1:40

  switch label(i)

​    case 1

​      output(:,i)=[1; 0 ];

​    case 2

​      output(:,i)=[0 ;1 ];

  end

end

%% 第二步 设置训练数据和预测数据

% 将指标变为列向量

pre=data(41:60,2:115)';

input_train = input(1:30,2:115)'; %训练集data

output_train =output(:,1:30); %训练集label

input_test = input(31:40,2:115)';

output_test =output(:,31:40);

%节点个数

inputnum=114; % 输入层节点数量

hiddennum=10; % 隐含层节点数量

outputnum=2; % 输出层节点数量

%% 第三本 训练样本数据归一化

[inputn,inputps]=mapminmax(input_train);%归一化到[-1,1]之间，inputps用来作下一次同样的归一化

 

[pren,pres]=mapminmax(pre);

%% 第四步 构建BP神经网络

net=newff(inputn,output_train,hiddennum,{'tansig','purelin'},'trainlm');% 建立模型，传递函数使用purelin，采用梯度下降法训练

 

W1= net. iw{1, 1};         %输入层到中间层的权值

B1 = net.b{1};           %中间各层神经元阈值

 

W2 = net.lw{2,1};          %中间层到输出层的权值

B2 = net. b{2};           %输出层各神经元阈值

 

%% 第五步 网络参数配置（ 训练次数，学习速率，训练目标最小误差等）

net.trainParam.epochs=1000;     % 训练次数，这里设置为1000次

net.trainParam.lr=0.01;       % 学习速率，这里设置为0.01

net.trainParam.goal=0.00001;    % 训练目标最小误差，这里设置为0.00001

 

%% 第六步 BP神经网络训练

net=train(net,inputn,output_train);%开始训练，其中inputn,outputn分别为输入输出样本

 

%% 第七步 测试样本归一化

inputn_test=mapminmax('apply',input_test,inputps); % 对样本数据进行归一化

 

%% 第八步 BP神经网络预测

an=sim(net,inputn_test);              %用训练好的模型进行仿真

[c,d]=max(an);%输出最大下标

correct=sum(d==label(31:40))/10

%% 第九步 预测结果反归一化与误差计算   

pre=mapminmax('apply',pre,pres);

res=sim(net,pre); 

[c1,d1]=max(res);%输出最大下标

可见，在原始标签处理处与预测网络有所不同，然而网络的基本架构以及输入的特征量，隐藏层数量可以类似于预测网络。

上左图为分类网络测试集的测试结果，右图为网络的架构。

对于未知label的数据进行分类，得到以下结果：

Result=[2 2 1 1 1 1 1 1 1 2 1 1 1 1 1 1 2 1 2 1]

对比预测网络：

Result=[2 2 1 1 1 1 1 1 2 2 1 1 2 1 1 1 2 1 1 1]

结果大致相同，可见预测网络和分类网络对于二分类的预测结果差别不大，均可用于二分类测试。

事实上，分类与预测是神经网络的两个分支，分类是在预测的基础之上将单个预测结果变为以0,1表示的多维数据，每个数据的点表示为结果为该类的概率。对于简单的二分类而言，网络架构相同的情况下，分类网络与预测网络差别不大。