关闭

【神经网络学习笔记】遗传算法优化BP神经网络-非线性函数拟合

标签: BP神经网络优化遗传算法
4349人阅读 评论(1) 收藏 举报
分类:

我们知道,在建立神经网络的时候,需要给各个节点和连接赋予阈值和权值,但一般我们都是随机赋予,然后让系统在一次次的训练中需找到最小值。这种方法很有一种碰运气的成分在里面,而用遗传算法来优化BP神经网络则可以让神经网络从一个较接近的水准开始训练。

所谓用遗传算法优化,优化的是神经网络训练前各节点的初始值,这些初始值不再取随机值,而是用我们通过遗传算法得到的值来代替。

我们把每个物种赋予一个DNA序列,这个序列包含着各个阈值和权值,假设我们的网络是一个2-5-1的网络,那么DNA的长度就可以是2*5+5+5*1+1 = 21,每位表示一个阈值或权值。

再设定好这个种群的大小,即有多少个个体,然后就可以开始进化这个物种啦。

进化过程不短重复这几步

1.计算个体的适应度,即代入它的基因(阈值权值)计算所得到的与期望值的差值。

2.记录适应度最好即差值最小的个体。

3.轮盘法选择个体,适应度好的更容易被选到。

4.把选择出来的个体进行交叉和变异,相当于生物的有性繁殖和基因突变。

到了设定的遗传代数之后,得到的最优个体基因就比较接近最终的阈值权值啦,我们用这个个体的基因来初始化BP神经网络,再进行训练和预测,可以得到更好的效果。

下面是主函数的代码,其中的子函数请下载资源

%% 该代码为基于遗传算法神经网络的预测代码
% 清空环境变量
clc
clear
% 
%% 网络结构建立
%读取数据
load data input output

%节点个数
inputnum=2;
hiddennum=5;
outputnum=1;

%训练数据和预测数据
input_train=input(1:1900,:)';
input_test=input(1901:2000,:)';
output_train=output(1:1900)';
output_test=output(1901:2000)';

%选连样本输入输出数据归一化
[inputn,inputps]=mapminmax(input_train);
[outputn,outputps]=mapminmax(output_train);

%构建网络
net=newff(inputn,outputn,hiddennum);

%% 遗传算法参数初始化
maxgen=20;                         %进化代数,即迭代次数
sizepop=10;                        %种群规模
pcross=[0.2];                       %交叉概率选择,0和1之间
pmutation=[0.1];                    %变异概率选择,0和1之间

%节点总数
numsum=inputnum*hiddennum+hiddennum+hiddennum*outputnum+outputnum;

lenchrom=ones(1,numsum);        
bound=[-3*ones(numsum,1) 3*ones(numsum,1)];    %数据范围

%------------------------------------------------------种群初始化--------------------------------------------------------
individuals=struct('fitness',zeros(1,sizepop), 'chrom',[]);  %将种群信息定义为一个结构体
avgfitness=[];                      %每一代种群的平均适应度
bestfitness=[];                     %每一代种群的最佳适应度
bestchrom=[];                       %适应度最好的染色体
%初始化种群
for i=1:sizepop
    %随机产生一个种群
    individuals.chrom(i,:)=Code(lenchrom,bound);    %编码(binary和grey的编码结果为一个实数,float的编码结果为一个实数向量)
    x=individuals.chrom(i,:);
    %计算适应度
    individuals.fitness(i)=fun(x,inputnum,hiddennum,outputnum,net,inputn,outputn);   %染色体的适应度
end
FitRecord=[];
%找最好的染色体
[bestfitness bestindex]=min(individuals.fitness);
bestchrom=individuals.chrom(bestindex,:);  %最好的染色体
avgfitness=sum(individuals.fitness)/sizepop; %染色体的平均适应度
% 记录每一代进化中最好的适应度和平均适应度
trace=[avgfitness bestfitness]; 
 
%% 迭代求解最佳初始阀值和权值
% 进化开始
for i=1:maxgen
    i
    % 选择
    individuals=Select(individuals,sizepop);
    avgfitness=sum(individuals.fitness)/sizepop;
    %交叉
    individuals.chrom=Cross(pcross,lenchrom,individuals.chrom,sizepop,bound);
    % 变异
    individuals.chrom=Mutation(pmutation,lenchrom,individuals.chrom,sizepop,i,maxgen,bound);
    
    % 计算适应度 
    for j=1:sizepop
        x=individuals.chrom(j,:); %解码
        individuals.fitness(j)=fun(x,inputnum,hiddennum,outputnum,net,inputn,outputn);   
    end
    
  %找到最小和最大适应度的染色体及它们在种群中的位置
    [newbestfitness,newbestindex]=min(individuals.fitness);
    [worestfitness,worestindex]=max(individuals.fitness);
    % 代替上一次进化中最好的染色体
    if bestfitness>newbestfitness
        bestfitness=newbestfitness;
        bestchrom=individuals.chrom(newbestindex,:);
    end
    individuals.chrom(worestindex,:)=bestchrom;
    individuals.fitness(worestindex)=bestfitness;
    
    avgfitness=sum(individuals.fitness)/sizepop;
    
    trace=[trace;avgfitness bestfitness]; %记录每一代进化中最好的适应度和平均适应度
    FitRecord=[FitRecord;individuals.fitness];
end

%% 遗传算法结果分析 
figure(1)
[r c]=size(trace);
plot([1:r]',trace(:,2),'b--');
title(['适应度曲线  ' '终止代数=' num2str(maxgen)]);
xlabel('进化代数');ylabel('适应度');
legend('平均适应度','最佳适应度');
disp('适应度                   变量');

%% 把最优初始阀值权值赋予网络预测
% %用遗传算法优化的BP网络进行值预测
w1=x(1:inputnum*hiddennum);
B1=x(inputnum*hiddennum+1:inputnum*hiddennum+hiddennum);
w2=x(inputnum*hiddennum+hiddennum+1:inputnum*hiddennum+hiddennum+hiddennum*outputnum);
B2=x(inputnum*hiddennum+hiddennum+hiddennum*outputnum+1:inputnum*hiddennum+hiddennum+hiddennum*outputnum+outputnum);

net.iw{1,1}=reshape(w1,hiddennum,inputnum);
net.lw{2,1}=reshape(w2,outputnum,hiddennum);
net.b{1}=reshape(B1,hiddennum,1);
net.b{2}=B2;

%% BP网络训练
%网络进化参数
net.trainParam.epochs=100;
net.trainParam.lr=0.1;
%net.trainParam.goal=0.00001;

%网络训练
[net,per2]=train(net,inputn,outputn);

%% BP网络预测
%数据归一化
inputn_test=mapminmax('apply',input_test,inputps);
an=sim(net,inputn_test);
test_simu=mapminmax('reverse',an,outputps);
error=test_simu-output_test;

END

0
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

神经网络和遗传算法结合(原创)

本人理解:        神经网络是用来处理 非线性关系的,输入和输出之间的关系可以确定(存在非线性关系),可以利用神经网络的自我学习(需要训练数据集 用明确的输入和输出),训练后权值确定,就可以测试...
  • u011001084
  • u011001084
  • 2015-10-22 16:33
  • 4258

基于遗传算法优化的神经网络算法

遗传算法优化神经网络
  • Yaroo
  • Yaroo
  • 2016-09-08 16:00
  • 2593

遗传算法优化BP神经网络

遗传算法原理遗传算法(Genetic Algorithms)是1962年由美国Michigan大学Holland教授提出的模拟自然界遗传机制和生物进化论而形成的一种并行随机搜索最优化方法。它把自然界中...
  • u014271114
  • u014271114
  • 2016-12-03 17:56
  • 3753

基于Matlab的遗传算法优化BP神经网络在非线性函数拟合中的应用

本微信图文详细介绍了遗传算法优化BP神经网络初始权值阈值的过程,并通过实例说明该优化能够提升BP神经网络的预测精确程度。
  • LSGO_MYP
  • LSGO_MYP
  • 2017-01-17 17:03
  • 1750

遗传算法优化的BP神经网络建模

遗传算法优化的BP神经网络建模。 目标:    对y=x1^2+x2^2非线性系统进行建模,用1500组数据对网络进行构建网络,500组数据测试网络。由于BP神经网络初始神经元之间的权值和阈值一般...
  • lo3656485
  • lo3656485
  • 2015-05-05 20:06
  • 2998

基于遗传算法优化的BP神经网络的 非线性函数拟合

遗传算法 ( GA , Genetic Algorithm ) ,也称进化算法 。 遗传算法是受达尔文的进化论的启发,借鉴生物进化过程而提出的一种启发式搜索算法。因此在介绍遗传算法前有必要简单的介绍生...
  • qq_18343569
  • qq_18343569
  • 2015-07-26 15:36
  • 1680

BP神经网络非线性函数拟合应用

%% BP神经网络的输入输出数据 % clear all % clc % x=rand(1,1500); % y=rand(1,1500); % p=[x;y]'; % z=x.^2-y.^2+3; ...
  • fanpengfei0
  • fanpengfei0
  • 2015-06-11 16:34
  • 1222

基于遗传算法的BP神经网络优化算法

遗传算法优化BP神经网络分为BP神经网络结构确定、遗传算法优化和 BP神经网络预测3个部分。其中,BP神经网络结构确定部分根据拟合函数输入输出参数个数确定 BP神经网络结构,这样就可以确定遗传算法的优...
  • dulingtingzi
  • dulingtingzi
  • 2016-04-10 20:22
  • 9267

BP神经网络的非线性曲线拟合和预测(未完)

BP神经网络的非线性曲线拟合和预测(未完)
  • github_33934628
  • github_33934628
  • 2016-02-24 21:28
  • 4993

【神经网络学习笔记】非线性函数拟合

matlab中自带神经网络工具箱,我们可以很方便的建立神经网络,z
  • zjccoder
  • zjccoder
  • 2014-07-16 16:21
  • 3414
    个人资料
    • 访问:133388次
    • 积分:1828
    • 等级:
    • 排名:千里之外
    • 原创:37篇
    • 转载:8篇
    • 译文:2篇
    • 评论:44条
    我的个人介绍
    博客专栏