[转] 考拉BP神经网络的matlab实现学习历程（三）

本节主要学习使用matlab实现bp算法的一般步骤和过程。

为了充分利用数据，得到最优的网络训练结果，在网络建立前应该进行的基本数据处理问题，包括：
(1)BP神经网络matlab实现的基本步骤
(2)数据归一化问题和方法
(3)输入训练数据的乱序排法，以及分类方法
(4)如何查看和保存训练的结果
(5)每次结果不一样问题。

用matlab实现bp，其实很简单，按下面步骤基本可以了

BP神经网络matlab实现的基本步骤

1、数据归一化
2、数据分类，主要包括打乱数据顺序，抽取正常训练用数据、变量数据、测试数据
3、建立神经网络，包括设置多少层网络（一般3层以内既可以，每层的节点数（具体节点数，尚无科学的模型和公式方法确定，可采用试凑法，但输出层的节点数应和需要输出的量个数相等），设置隐含层的传输函数等。关于网络具体建立使用方法，在后几节的例子中将会说到。
4、指定训练参数进行训练，这步非常重要，在例子中，将详细进行说明
5、完成训练后，就可以调用训练结果，输入测试数据，进行测试
6、数据进行反归一化
7、误差分析、结果预测或分类，作图等

数据归一化问题

归一化的意义：

首先说一下，在工程应用领域中，应用BP网络的好坏最关键的仍然是输入特征选择和训练样本集的准备，若样本集代表性差、矛盾样本多、数据归一化存在问题，那么，使用多复杂的综合算法、多精致的网络结构，建立起来的模型预测效果不会多好。若想取得实际有价值的应用效果，从最基础的数据整理工作做起吧，会少走弯路的。

归一化是为了加快训练网络的收敛性，具体做法是：

1 把数变为（0，1）之间的小数
主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速，应该归到数字信号处理范畴之内。

2 把有量纲表达式变为无量纲表达式
归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量。
比如，复数阻抗可以归一化书写：Z = R + jωL = R(1 + jωL/R) ，复数部分变成了纯数量了，没有量纲。另外，微波之中也就是电路分析、信号系统、电磁波传输等，有很多运算都可以如此处理，既保证了运算的便捷，又能凸现出物理量的本质含义。

神经网络归一化方法：

由于采集的各数据单位不一致，因而须对数据进行[-1,1]归一化处理，归一化方法主要有如下几种，供大家参考：
1、线性函数转换，表达式如下：

y=(x-MinValue)/(MaxValue-MinValue)

说明：x、y分别为转换前、后的值，MaxValue、MinValue分别为样本的最大值和最小值。
2、对数函数转换，表达式如下：

 y=log10(x)

说明：以10为底的对数函数转换。
3、反余切函数转换，表达式如下：

y=atan(x)*2/PI

matlab中归一化的实现：

matlab中的归一化处理有五种方法，只会其中一种就可以了，我喜欢用第4种，因为习惯和方便

注意：第一组和第二组归一化函数在Matlab7.0以上已遗弃，他们的用法相似，pre是归一化，post是反归一化，tram是使用同样的设置归一化另外一组数据

1. 内部函数premnmx、postmnmx、tramnmx，将数据归一化到(-1,1)
   premnmx的语法格式是

：[Pn,minp,maxp,Tn,mint,maxt]=premnmx(P,T)

其中P，T分别为原始输入和输出数据，minp和maxp分别为P中的最小值和最大值。mint和maxt分别为T的最小值和最大值。

我们在训练网络时，如果所用的是经过归一化的样本数据，那么以后使用网络时所用的新数据也应该和样本数据接受相同的预处理，这就要用到tramnmx，换句话说使用同一个归一化设置(setting)归一化另外一组数据。如下所示：

[Pn]=tramnmx(P,minp,maxp)

其中P和Pn分别为变换前、后的输入数据，maxp和minp分别为premnmx函返回的最大值maxp和最小值minp。

2、prestd、poststd、trastd归化数据到(0,1)
用法与1差不多。详细可以help prestd。

上述两种方法是可以相互转化的，比如，第一种归化后的数据为p，则(1+p)./2的结果就是第二种了

3、mapminmax()将数据归一化到(-1,1)，是6.5中**mnmx系列的替换函数
该函数同时可以执行归一化、反归一化和归一化其他数据的功能，具体看帮助和后面的实例

% 归一化数据输入为p，输出为t
[normInput,ps] = mapminmax(p);
[normTarget,ts] = mapminmax(t);

% 反归一化
trainOutput = mapminmax('reverse',normTrainOutput,ts);
trainInsect = mapminmax('reverse',trainSamples.T,ts);
validateOutput = mapminmax('reverse',normValidateOutput,ts);
validateInsect = mapminmax('reverse',validateSamples.T,ts);
testOutput = mapminmax('reverse',normTestOutput,ts);
testInsect = mapminmax('reverse',testSamples.T,ts);

%例子：
x1 = [1 2 4; 1 1 1; 3 2 2; 0 0 0]
[y1,PS] = mapminmax(x1,0,1)% 归化到 [0,1]，若不填，则默认为[-1,1]

%还原：
x1_again = mapminmax('reverse',y1,PS)

4、mapstd()将数据归一化到(0,1)，是6.5中**std系列的替代函数

同理，3和4两种方法是可以相互转化的，比如，第一种归化后的数据为p，则(1+p)./2的结果就是第二种了。

5、自己写归一化函数，这个网上很多，大家可以百度下

输入训练数据的乱序排法，以及分类

注意：dividevec()函数在7.6版本还可以使用

把数据重新打乱顺序，进行输入，可以让数据更加具备典型性和更优良的泛化能力！

把数据进行打乱，并分类为：训练输入数据、变量数据、测试数据的方法

我用百度搜了一下，发现有些方法，但居然很少看到使用matlab内部函数直接进行的，其实matlab自带的内部函数dividevec，完全能胜任上述工作，推荐!

但这个存在一个问题是，因为打乱了，最后分析结果的时候，数据重新排列困难，因为丢失了数据在数组中的位置参数。具体用法可以参见下面我的bp交通预测的例子。

因为我用的7.0版本，Neural Network Toolbox Version 5.0.2 (R2007a)

昨天，我去MathWorks公司查看了一下nnet的新手册，上述问题得到了解决，里面视乎没有介绍dividverc这个函数了，但增加了新的函数来完成上述功能，并返回标号（手头没装新版本Neural Network Toolbox Version 6.0 (R2008a)），看guide大概是这个意思(有新版本的，可以试一下，这个函数是不是这个意思)：

divideblock，divideind，divideint和dividerand

上述函数，用法和功能基本相同，只是打乱的方法不一样，分别是block方法抽取、按数组标号自定义抽取、交错索引抽取和随机抽。

下面以divideblock为例，讲解其基本用法：

[trainV,valV,testV,trainInd,valInd,testInd] =divideblock(allV,trainRatio,valRatio,testRatio)

[训练数据,变量数据,测试数据,训练数据矩阵的标号,,变量数据标号,测试数据标号] =divideblock(所有数据,训练数据百分比,变量数据百分比,测试数据百分比)

其实dividevec和后面四个分类函数的区别在于，dividevec一般直接在Matlab代码中调用。

而后面四个函数是通过设置网络的divideFcn函数来实现，比如，net.divideFcn=’divideblock’，但不是说不可以在代码中像dividevec直接调用

如何查看和保存结果

训练好的权值、阈值的输出方法是：
输入到隐层权值：

w1=net.iw{1,1}

隐层阈值：

theta1=net.b{1}

隐层到输出层权值：

w2=net.lw{2,1};

输出层阈值：

theta2=net.b{2}

训练好的BP神经网络保存：

%保存
save file_name net_name%Matlab自动将网络保存为mat数据文件，下次使用时可以直接载入
%载入
load file_name

每次结果不一样问题

因为每次初始化网络时都是随机的，而且训练终止时的误差也不完全相同，结果训练后的权植和阀也不完全相同（大致是一样的），所以每次训练后的结果也略有不同。
找到比较好的结果后，用命令save filen_ame net_name保存网络，可使预测的结果不会变化，在需要的调用时用命令load filename载入。

关于如何找到比较好的结果，进行保存，可以设置误差，在循环中保存，具体使用可以参看bp交通预测优化后的例子

原文网址：http://www.matlabsky.com/thread-1560-1-5.html