对上周遗留的遗传算法结合第3章看明白
学习SVM的信息粒化时序回归预测
学习BP神经网络的分类与拟合，以及Adaboost的分类与预测
学会如何保存图片
利用SVM对进行模糊信息粒化后的上证每日的开盘指数进行变化趋势和变化空间的预测。
A.信息粒就是一些元素的集合,这些元素由于难以区别、或相似、或接近或某种功能而结合在一起.信息粒作为信息的表现形式在我们的周围是无所不在的,它是人类认识世界的一个基本概念.人类在认识世界时往往将一部分相似的事物放在一起作为一个整体研究它们所具有的性质或特点,实际上,这种处理事物的方式就是信息粒化.而所研究的“整体”就称为信息粒.
信息粒化中,粒为非模糊的粒化方式（c-粒化）在众多方法技术中起着重要的作用,但是在几乎所有人的推理及概念形成中,粒都是模糊的（f-粒化）,非模糊的粒化没有反映这一事实.模糊信息粒化正是受人类粒化信息方式启发并据此进行推理的.
信息粒化的主要三种模型是：基于模糊集理论的模型;基于粗糙集理论的模型;基于商空间理论的模型.三种模型之间存在着密切的联系与区别.模糊集理论与粗糙集理论有很强的互补性,这两个理论优化、整合在处理知识的不确定性和不完全性时已显示出更强的功能.商空间理论与粗糙集理论都是利用等价类来描述粒化,再用粒化来描述概念,但是,它们讨论的出发点有所不同.粗糙集理论的论域只是对象的点集,元素之间拓扑关系不在考虑之内;商空间理论是着重研究空间关系的理论,商空间理论是在论域元素之间存在有拓扑关系的前提下进行研究的,即论域是一个拓扑空间.
B.模糊信息粒化就是以模糊集形式表示信息粒，用模糊方法对时间序列进行粒化模糊。可以分为两个步骤：划分窗口和模糊化。
划分窗口：将时间序列划分为若干个小子序列，作为窗口。
模 糊 化：对产生的每一个窗口进行模糊化，生成一个模糊集，也就是信息粒化。
基本思想：
1.模糊粒子能够合理的代表原始数据
2.模糊粒子要有一定的特殊性
C.函数格式
[low,R,up]=FIG_D(XX,MFKind,win_num)
XX:待粒化的时间序列
MFkind：函数种类，采用模糊粒子的类型，三角形，梯形，高斯型，抛物型
win_num：粒化的窗口数目
low，R，up是三个粒子的参数，对于三角形而言low，R，up是a,m,b.low描述的是相应原始数据的最小值，R是指相应原始数据变化的平均水平，UP指的是原始数据变化的最大值。
A.BP神经网络是一层前馈神经网络，主要特点是信号的前向传递，误差反向传播。在前向的传播过程中输入信号经过隐含层逐层的处理，直接到输出层，每一层的神经元只影响下一层的神经元状态，如果输出层得不到期望的输出，就会进入反向传播。根据预测误差调整网络权值与阀值。从而使得预测输出不断的逼近期望输出。
B.BP神经网络构建根据系统的 输入与输出特点来确定的网络结构，可以分为输入层，隐含层，输出层。隐含层节点数对BP神经网络预测精度有着较大的影响，节点数太多，训练时间增加，容易过拟合，节点数太少，网络不能很好的拟合，需要增加训练次数。
C.基于BP神经网络的非线性拟合可以分为BP神经网络的构建，神经网络的训练，神经网络的预测3个步骤。
D.隐含层可以分为单隐含层和多隐含层。多隐含层由多个单隐含层构成，多隐含层的泛华能力强预测的精度高
遗传算法的原理：按照所选择的适应度函数并通过遗传中的选择、交叉、变异对个体进行筛选，把适应度高的进行保留，适应度差的进行淘汰，就这样循环，直到满足条件为止。（高效启发式搜索）
选择操作:
从旧群体中以一定的概率选择新的个体到新的群体中，被选择的概率与适应度值有关系。
交叉操作：
是指从个体中选择两个个体，通过染色体的交换组合来产生优秀的个体
变异操作：
是指从群体中选择一个个体，选择染色体中的 一点进行变异，产生更优秀的个体
基本包括
染色体编码--->适应度函数--->遗传操作---->运行参数
编码：二进制、实数
适应度函数：计算适应度值
操作：选择、变异、交叉
参数：群体大小、遗传代数、交叉概率、变异概率
其实质就是利用遗传算法来优化BP神经网络的权值与阀值。
利用非线性函数来寻找极值是在只知道函数的输入与输出的情况下使用的，可以利用神经网络结合遗传算法来求解，利用神经网络的非线性拟合能力来求解。
四、Adaboost的分类与预测
adaboost是迭代算法，他的核心思想是针对同一个训练集训练不同的分类器（弱分类器），然后把这些弱分类器集合起来，构成一个最终的分类器（强分类器）。
adaboost不仅可以用来做分类器，也可以来做预测器
其思路与分类器的思路相似，都是先赋予测试样本权重，然后根据预测器预测结果来调试权重并且确定弱预测器的权重，最后把弱预测器序列作为强预测器，不同的的是在强分类器中增加预测错类别样本的权重，在强预测器中增加预测误差超过阀值的样本权重。
我们利用SVM对进行模糊信息粒化后的上证指数进行预测和空间的预测，利用从1990年到2009年的每日开盘数，预测下5个交易日的变化趋势和范围，其中时间作为自变量。
首先，语音信号转换成电信号输入了识别系统，经过预处理，把信号提取出来，在提取出特征信号，与参考信号进行对比。选取了4类不同的音乐，使用BP神经网络对其进行有效的分类。BP神经网络采用的是梯度正法作为权值和阀值的学习算法，从网络预测的负梯度方向修正权值与阀值，没有考虑过经验的积累，学习过程收敛慢，可以采用附加动力修正法，这样分类更快。
这是指在工程中遇到的一些复杂的非线性神经系统，这些系统非常的复杂，数学方法不容易建模，这时候，可以使用BP神经网络表达这些非线性系统，通过输入输出数据来训练BP神经网络，使得网络可以表达该未知函数，就可以来预测输出。
主要是利用遗传算法来优化BP神经网络的权值与阀值，这样可以更容易的拟合与寻优。
adaboost是迭代算法，他的核心思想是针对同一个训练集训练不同的分类器（弱分类器），然后把这些弱分类器集合起来，构成一个最终的分类器（强分类器）。adaboost不仅可以用来做分类器，也可以来做预测器
% 提取数据
ts = sh_open;
time = length(ts);
%% 对原始数据进行模糊信息粒化
win_num = floor(time/5);
tsx = 1:win_num;
tsx = tsx';
[Low,R,Up]=FIG_D(ts','triangle',win_num);
%% 利用SVM对Low进行回归预测
[low,low_ps] = mapminmax(Low);
low_ps.ymin = 100;
low_ps.ymax = 500;
% 对Low进行归一化
[low,low_ps] = mapminmax(Low,low_ps);
。。。。
% 预测
[low_predict,low_mse] = svmpredict(low,tsx,low_model);
low_predict = mapminmax('reverse',low_predict,low_ps);
predict_low = svmpredict(1,win_num+1,low_model);
predict_low = mapminmax('reverse',predict_low,low_ps);
error = low_predict - Low';%计算误差
%% 利用SVM对R进行回归预测
[r,r_ps] = mapminmax(R);
r_ps.ymin = 100;
r_ps.ymax = 500;
% 对R进行归一化
[r,r_ps] = mapminmax(R,r_ps);
。。。。。
r_model = svmtrain(r, tsx, cmd);
% 预测
[r_predict,r_mse] = svmpredict(r,tsx,low_model);
r_predict = mapminmax('reverse',r_predict,r_ps);
predict_r = svmpredict(1,win_num+1,r_model);
predict_r = mapminmax('reverse',predict_r,r_ps);
%% 利用SVM对Up进行回归预测
[up,up_ps] = mapminmax(Up);
up_ps.ymin = 100;
up_ps.ymax = 500;
% 对Up进行归一化
[up,up_ps] = mapminmax(Up,up_ps);
up_model = svmtrain(up, tsx, cmd);
% 预测
[up_predict,up_mse] = svmpredict(up,tsx,up_model);
up_predict = mapminmax('reverse',up_predict,up_ps);
predict_up = svmpredict(1,win_num+1,up_model);
predict_up = mapminmax('reverse',predict_up,up_ps);
二、BP神经网络
2.1 BP神经网络的主要代码
%% 网络结构初始化 输入层、隐含层、输出层
innum=24;
midnum=25; %%25
outnum=4;
%权值初始化
w1=rands(midnum,innum); %25*24
b1=rands(midnum,1); %25*1
w2=rands(midnum,outnum); %25*4
b2=rands(outnum,1); %4*1
w2_1=w2;w2_2=w2_1;
w1_1=w1;w1_2=w1_1;
b1_1=b1;b1_2=b1_1;
b2_1=b2;b2_2=b2_1;
%学习率
xite=0.1;
alfa=0.01; %什么 ，貌似没用过
%% 网络训练
for ii=1:5 %训练了10次
E(ii)=0;
for i=1:1:1500
%% 网络预测输出
x=inputn(:,i); %取出第一组 24*1
% 隐含层输出
for j=1:1:midnum %1~25
I(j)=inputn(:,i)'*w1(j,:)'+b1(j); %(1*24)*(24*1)*b1
Iout(j)=1/(1+exp(-I(j))); %带入函数公式1*25 Iout
end
% 输出层输出
yn=w2'*Iout'+b2; %(4*25)*(25*1)+(4*1)
%% 权值阀值修正
%计算误差
e=output_train(:,i)-yn; %4*1500取一个4*1
E(ii)=E(ii)+sum(abs(e));
%计算权值变化率
dw2=e*Iout;
db2=e';
for j=1:1:midnum
S=1/(1+exp(-I(j)));
FI(j)=S*(1-S); %【Hj-(1-Hj)】
end
for k=1:1:innum
for j=1:1:midnum dw1(k,j)=FI(j)*x(k)*(e(1)*w2(j,1)+e(2)*w2(j,2)+e(3)*w2(j,3)+e(4)*w2(j,4)); db1(j)=FI(j)*(e(1)*w2(j,1)+e(2)*w2(j,2)+e(3)*w2(j,3)+e(4)*w2(j,4));
end
end %%权值的修改
w1=w1_1+xite*dw1';
b1=b1_1+xite*db1';
w2=w2_1+xite*dw2';
b2=b2_1+xite*db2';
w1_2=w1_1;w1_1=w1;
w2_2=w2_1;w2_1=w2;
b1_2=b1_1;b1_1=b1;
b2_2=b2_1;b2_1=b2; %%以上的对应公式来看
end
end
%% 语音特征信号分类
inputn_test=mapminmax('apply',input_test,inputps);
for ii=1:1
for i=1:500 %1500
%隐含层输出
for j=1:1:midnum
I(j)=inputn_test(:,i)'*w1(j,:)'+b1(j);
Iout(j)=1/(1+exp(-I(j)));
end
fore(:,i)=w2'*Iout'+b2; %输出层计算
end
end
%预测的输出
%% 结果分析
%根据网络输出找出数据属于哪类
for i=1:500
output_fore(i)=find(fore(:,i)==max(fore(:,i)));%max(fore(:,i))表示在i列中的最大值.
%fore(:,i)==max(fore(:,i))表示用fore(:,i)这个outnum×1的矩阵中的每一个值与这一列中的最大值相比，
%相等则为真，记作1，不相等则为假，记作0，所以fore(:,i)==max(fore(:,i))是一个outnum×1矩阵
%find的作用，在这里是返回非0值在矩阵中所在的位置
%output_fore是一个1×500的矩阵
end
%BP网络预测误差
error=output_fore-output1(n(1501:2000))';
2.2 改变隐含层节点数的程序
for midnum=15:1:30; %%25
innum=24;
outnum=4;
%权值初始化
w1=rands(midnum,innum); %25*24
b1=rands(midnum,1); %25*1
w2=rands(midnum,outnum); %25*4
b2=rands(outnum,1); %4*1
w2_1=w2;w2_2=w2_1;
w1_1=w1;w1_2=w1_1;
b1_1=b1;b1_2=b1_1;
b2_1=b2;b2_2=b2_1;
%学习率
xite=0.1;
alfa=0.01; %什么 ，貌似没用过
。
。
。
。
%正确率
rightridio=(kk-k)./kk;
kkk(1,midnum-14)=1-(sum(rightridio)./4)
end
2.3 增加动力的程序关键代码
w1=w1_1+xite*dw1'+alfa*(w1_1-w1_2);
b1=b1_1+xite*db1'+alfa*(b1_1-b1_2);
w2=w2_1+xite*dw2'+alfa*(w2_1-w2_2);
b2=b2_1+xite*db2'+alfa*(b2_1-b2_2);
%% BP网络训练
% %初始化网络结构
net=newff(inputn,outputn,5);
net.trainParam.epochs=100;
net.trainParam.lr=0.1;
net.trainParam.goal=0.00004;
%网络训练
net=train(net,inputn,outputn);
%% BP网络预测
%预测数据归一化
inputn_test=mapminmax('apply',input_test,inputps);
%网络预测输出
an=sim(net,inputn_test);
%网络输出反归一化
BPoutput=mapminmax('reverse',an,outputps);
%构建网络
net=newff(inputn,outputn,hiddennum);
%% 遗传算法参数初始化
maxgen=10; %进化代数，即迭代次数
sizepop=10; %种群规模
pcross=[0.3]; %交叉概率选择，0和1之间
pmutation=[0.1]; %变异概率选择，0和1之间
%节点总数
numsum=inputnum*hiddennum+hiddennum+hiddennum*outputnum+outputnum;%%10+5+5+1=21
lenchrom=ones(1,numsum); %%1*21
bound=[-3*ones(numsum,1) 3*ones(numsum,1)]; %数据范围 21*2
%------------------------------------------------------种群初始化--------------------------------------------------------
individuals=struct('fitness',zeros(1,sizepop), 'chrom',[]); %将种群信息定义为一个结构体
avgfitness=[]; %每一代种群的平均适应度
bestfitnessstruct=[]; %每一代种群的最佳适应度
bestchrom=[]; %适应度最好的染色体
%初始化种群
for i=1:sizepop
%随机产生一个种群
individuals.chrom(i,:)=Code(lenchrom,bound); %编码（binary和grey的编码结果为一个实数，float的编码结果为一个实数向量）
x=individuals.chrom(i,:);
%计算适应度
individuals.fitness(i)=fun(x,inputnum,hiddennum,outputnum,net,inputn,outputn); %染色体的适应度
end
%找最好的染色体
[bestfitness bestindex]=min(individuals.fitness);
bestchrom=individuals.chrom(bestindex,:); %最好的染色体
avgfitness=sum(individuals.fitness)/sizepop; %染色体的平均适应度
% 记录每一代进化中最好的适应度和平均适应度
trace=[avgfitness bestfitness]; %%平均的染色体和最佳染色体
%% 迭代求解最佳初始阀值和权值
% 进化开始
for i=1:maxgen %%进化代数
% 选择
individuals=Select(individuals,sizepop);
avgfitness=sum(individuals.fitness)/sizepop; %%取平均适应度
%交叉 individuals.chrom=Cross(pcross,lenchrom,individuals.chrom,sizepop,bound);
% 变异
individuals.chrom=Mutation(pmutation,lenchrom,individuals.chrom,sizepop,i,maxgen,bound);
% 计算适应度
for j=1:sizepop
x=individuals.chrom(j,:); %解码
individuals.fitness(j)=fun(x,inputnum,hiddennum,outputnum,net,inputn,outputn);
end
%找到最小和最大适应度的染色体及它们在种群中的位置
[newbestfitness,newbestindex]=min(individuals.fitness);
[worestfitness,worestindex]=max(individuals.fitness);
% 代替上一次进化中最好的染色体
if bestfitness>newbestfitness
bestfitness=newbestfitness;
bestchrom=individuals.chrom(newbestindex,:);
end
%替换了坏的替换好的
individuals.chrom(worestindex,:)=bestchrom;
individuals.fitness(worestindex)=bestfitness;
avgfitness=sum(individuals.fitness)/sizepop;
trace=[trace;avgfitness bestfitness]; %记录每一代进化中最好的适应度和平均适应度
End
lenchrom=[1 1]; %每个变量的字串长度，如果是浮点变量，则长度都为1
bound=[-5 5;-5 5]; %数据范围
遗传算法求极值，与上诉不同的是有利边界
lenchrom=[1 1]; %每个变量的字串长度，如果是浮点变量，则长度都为1
bound=[-5 5;-5 5]; %数据范围
。。。。
[r c]=size(trace);
plot([1:r]',trace(:,2),'r-');
title('适应度曲线','fontsize',12);
xlabel('进化代数','fontsize',12);ylabel('适应度','fontsize',12);
axis([0,100,0,1])
x=bestchrom;
% 窗口显示
disp([bestfitness x]);
分类
K=10;
for i=1:K
%训练样本归一化
[inputn,inputps]=mapminmax(input_train);
[outputn,outputps]=mapminmax(output_train);
error(i)=0;
%BP神经网络构
%BP神经网络训练
%训练数据预测
%测试数据预测
%统计输出效果
kk1=find(test_simu1(i,:)>0);
kk2=find(test_simu1(i,:)<0);
aa(kk1)=1;
aa(kk2)=-1;
%统计错误样本数
for j=1:nn %1到1057
if aa(j)~=output_train(j);
error(i)=error(i)+D(i,j);
end
end
%弱分类器i权重
at(i)=0.5*log((1-error(i))/error(i));
%更新D值
for j=1:nn
D(i+1,j)=D(i,j)*exp(-at(i)*aa(j)*test_simu1(i,j)); %更新下一次的D
end
%D值归一化
Dsum=sum(D(i+1,:));
D(i+1,:)=D(i+1,:)/Dsum;
end
output=sign(at*test_simu);
预测
D(1,:)=ones(1,nn)/nn;
。。。。
%调整D值
Error(i)=0;
for j=1:nn
if abs(erroryc(i,j))>0.2 %较大误差
Error(i)=Error(i)+D(i,j);
D(i+1,j)=D(i,j)*1.1;
else
D(i+1,j)=D(i,j);
end
end
%计算弱预测器权重
at(i)=0.5/exp(abs(Error(i)));
%D值归一化
D(i+1,:)=D(i+1,:)/sum(D(i+1,:));
一、信息粒化结果分析
信息粒化程序可以得到很好的预测结果，但是运行速度太慢
图1信息粒化选择的参数结果
图2信息粒化可视图
图3误差分析图
二、BP神经网络
rightridio =
0.6167 1.0000 0.8308 0.8182
图4分类误差图
图5预测类别与实际类别图
图6 不同隐含层节点数的误差率
图7增加动力后的误差分类图
三、BP神经网络非线性拟合
errorsum =8.8674
图8 BP网络预测输出与期望输出
图9 神经网络预测误差图
图10 遗传算法拟合适应度图
Adaboost强分类器
第一类分类错误 第二类分类错误 总错误
0 15 15
统计弱分类器分类效果
error1 =
16 18 19 15 31 15 33 16 16 14
强分类器分类误差率
ans =
0.0429
弱分类器分类误差率
ans =
0.0551
图11 使用Adaboost强分类器的预测效果图
1.设想将BP神经网络的函数都封装起来，做一个合适的UI，做成可执行程序，用户可以直接从界面导入数据，然后通过设置参数，最后得到分类与预测。
2.隐含层数节点的确立！
3.用BP神经网络训练第一章的数据，结果不太理想，误差很大
如图所示
误差很大
30个实用的matlab程序案例，史峰
Matlab中文论坛
Csdn论坛
找一篇英文论文阅读
学习粒子群算法
复习上周所学
扫一扫
7206
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
