实际对象->问题提出->量的分析->模型假设->模型建立->模型求解->模型分析->模型检验(返回实际对象)->模型应用
统计建模:数据分析比较和处理
模糊数学:数学概念与方法的升华
时间序列:数据诊断和预测
优化建模:
微分方程:函数规律描述
智能算法:复杂寻优
层次分析:简单实用的决策模型
第三讲: LINGO:
- <号就是<= 在 LINGO里 没有严格的‘<’ 想要小于号 就自己调整左右两边的式子。
- LINGO 程序是不区分大小写的
- LINGO里面所有的函数都必须用‘@’引导, ‘@gin’ 是取整函数 ‘’@BIN’限制取‘0、1’变量
段的概述:
lingo中建立的优化模型可以由六个部分组成:
-
集合段:用于定义数组型性变量
SETS:…ENDSETS -
数据段:用于变量赋值与数据传递
DATA:…ENDDATE -
目标与约束段:用于列出目标与约束
唯一一个没有断的开始和结束标记 -
计算段:用于数据初始整理计算
CALC:…ENDCALC -
初始段:用于变量赋初值迭代寻优
INIT:,ENDINIT -
子模型段:用于表达子模型进行调用:
@SUBMODEL mymodel:
可执行语句(约束+目标)
ENDSUBMODEL
LINGO逻辑运算符有九种
- #AND# 与
- #OR# 或
- #NOT# 非
- #EQ# 等于
- #NE# 不等于
- #GT# 大于
- #GE# 大于等于
- #LT# 小于
- #LE# 小于等于
层次分析法
建立层次分析结构的步骤:
-
将决策问题分为三个层次:目标层O,准则层C,方案层P;每层有若干元素,各层元素之间的关系用相连的直线表示
-
构造成对比较阵:用成对比较法和1-9尺度,构造各层对上一层每一因素的成对比较阵
-
计算权向量并作一致性检验:对每一成对比较阵计算最大特征根和特征向量,作一致性检验,若通过,则特征向量为权向量。
-
组合权向量(作组合一致性检验):将多层的权向量组合可作为决策的定量依据
计算成对比较阵的权向量:
一致阵性质: -
A的秩为1,A的唯一非零特征根为n
-
A的任一列向量对应于n的特征向量
-
A的归一化特征向量可作为权向量
在实际问题中,我们先进行一致性检验,判断不一致是否在允许范围内
对于实际问题中不一致(但在允许范围内)的成对比较阵A,我们可以用对应于最大特征根’那么大‘
定义一致性比率: CR=CI/RI 当CE<0.1,通过一致性检验
多元回归模型
显著性检验:
- 拟合优度检验: R方=SSR/SST 越接近1则越好
- 回归方程的显著性检验(F检验):检验Y与解释变量X1,X2…XK之间的(整体来讲)线性关系是否显著。 如果没有通过检验,则说明他们之间的线性关系不明显,如过通过检验,还要进行每一个回归系数的显著性检验 ,如果某个变量对因变量影响不大,那么可以剔除
- 回归系数的显著性检验(t检验):回归方程显著,并不意味着每个解释变量对因变量Y的影响都重要
非线性的多元回归,将之线性化,然后就可以用多元回归模型了
聚类分析
据类分析:主要是研究分类问题的一种多元统计方法。将相似元素聚为一类。
聚类分析可以分为:Q型(样品分类)分类、R型(指标分类)分类。
由于不同的变量具有不同的计量单位,并且具有不同的数量级,为了使具有不同计量单位和数量级的数据能够放在一起进行比较分析,通常都要对数据进行变换处理,常用的方法有:
- 中心化变换
- 规格化变换(极差正规化)
- 标准化变换
- 对数变换
聚类的根据是相似性统计量(表达样品之间的相似程度),相似性统计量通常有两种,一是相似系数,二是距离
判别分析
已经分了类,新来一个样品,把它分进一个类
常用的方法有:距离判别法,Fisher判别法、贝叶斯判别法
贝叶斯判别法(Bayes):
主成分分析
将很多的变量 重新组合 降维到几个变量
因子分析
非参数统计
Pearson相关性检验:
功能:对服从正态分布的两个变量检验其相关程度
Spearman相关性检验
功能:利用两个变量的秩次大小检验其相关程度,对原始变量的分布不做要求
Kendall相关性检验
功能:适用于两个变量为有序分类的情形
符号检验法
功能:通过对取自总体(x,y)的配对样本进行符号检验来识别总体分布是否有差异
思想 若X,Y同分布,则符号为正负的个数不至于相差太远,若出现极端情形则不应识别为同分布
中位数检验
功能:通过取自总体的样本序列判断总体的中位数是否为某已知数z
思想:用符号检验法,将已知数a构成一个与样本序列配对的序列
秩和检验法
多组样本数据的检验
H检验法
功能:检验多组独立样本是否同分布
M检验法
功能:检验多组独立样本是否同分布
优化建模
三个要素:决策变量、目标函数、约束条件
可行域、可行解、最优解、全局最优解、局部最优解、最优值
最优化模型的分类:
目标规划模型:
可以用在一些lingo上无法实现的要求 :力求、尽力、严格…
1.设置偏差变量
2.统一处理目标的约束 分为刚性约束和柔性约束
3.给定目标的优先层次:
第一个层次:是目标分成不同的优先级
第二个层次:是目标处于同一优先级,但两个目标的权重不一样
时间序列分析
平稳时间序列及其检验
平稳时间序列有严平稳:序列所有的统计性质都不会随着时间的推移而发生改变。
严平稳很难做
所以我们一般弄宽平稳:保证序列低阶矩的平稳性。满足如下条件的序列称为宽平稳序列:
平稳性的检验:
1.时序图的检验:平稳序列的时序图应该显示出该序列始终在一个常数值附近随机波动,而且波动的范围有界,无明显趋势及周期特征。
2.自相关图检验:平稳序列通常具有短期相关性。该性质用自相关系数来描述就是随着延迟期数的增加,平稳序列的自相关系数会很快的衰减向零。
纯随机性检验:
纯随机:序列彼此之间没有关系 也成为白噪声序列
建模前:对平稳的序列进行白噪声检验,看是否分析的价值
非白噪声可以用来预测
建模后:对模型的残差序列进行白噪声检验
如果是白噪声,序列有用信息提取充分,模型建立成功
如果不是,则有用信息没有提取完整,则需要重新建模
原理:BAELETT定理
当Q的统计量的P值小于a时,则可以以1-α的置信水平拒绝原假设,认为该序列为非白噪声的;否则,接受原假设,认为序列是纯随机的。
AR、MA、ARMA模型:
得到一组平稳的、非随机性序列后进行的建模
AR模型的统计性质:
自相关系数拖尾;
偏自相关系数截尾
AR(p)模型 偏自相关系数截尾的阶数和模型的阶数是一样的
MA模型 :自相关系数截尾
偏自相关系数拖尾
ARMA模型就是把前面的AR、MA合在一起,成为自回归移动平均模型
自相关系数拖尾;
偏自相关系数拖尾
拿到一个时间序列后如何对其进行建模?:
模糊数学
量:确定性的量和不确定的量
模糊集及其表示
经典集合表示非此即彼
而模糊集合承认亦此亦彼
隶属函数的确定:
- 模糊统计法
- 指派法
模糊矩阵的运算:
元素介于零到一的矩阵:模糊矩阵
模糊相似矩阵:自反性、对称性
模糊等价矩阵:自反性、对称性、传递性
模糊矩阵的基本运算:
模糊矩阵的合成:前面矩阵的列和后面矩阵的行要相等
模糊聚类分析:
数据标准化
1、3把它变成[-1,1]而2、3把它变成[0,1]
建立模糊相似矩阵
传递闭包
模糊相似矩阵不停的进行传递闭包 不会变化
画动态聚类图
聚类模式识别:
- 模式识别 :根据对象的某些特征对其进行分类的过程
- 最大隶属原则
一级模糊综合评判:对对象进行排序
1.确定因素集
2.确定评语集
3.进行单因素评判
4.构造综合评判矩阵
微分方程的求解: