自然计算期末复习

第一讲

仿生学：是指模仿生物建造技术装置的科学，它是在20世纪中期才出现的一门新的边缘科学，是连接生物与技术的桥梁。仿生学研究生物体的结构、功能和工作原理，并将这些原理移植于工程技术之中，发明性能优越的仪器、装置和机器，创造新技术。
系统生物工程：将仿生学与遗传学进行整合，是一种发展遗传工程的仿生学。
1956年，美国达特茅斯大学夏季论坛，“人工智能大师”麦卡锡提出“人工智能”术语。
三大流派：
1.符号主义：物理符号系统假设。“智能水平取决于系统处理符号的能力。”
2.联结主义：生理学，仿生，神经网络机制
3.行为主义：控制论及感知-动作型控制系统。
1994年，计算智能诞生。
自然计算概念：以自然界（包括生命、生物及生态系统、物理、化学、经济以及社会文化系统等），特别是生物体的功能、特点和作用原理为基础，研究其中所蕴含的丰富的信息处理机制，抽取相应的计算模型，设计相应的算法，并在各相关领域加以应用。
自然计算特点：自然计算是各类自然科学和计算机科学交叉而产生的研究领域，内涵丰富，涉及技术多样，涵盖多个学科以及近百种算法与计算框架），并且不断有新的算法和计算机制涌现。
自然计算主要研究分支：进化计算（遗传算法、遗传规划、进化策略、进化规划）、群体智能、生态计算（生态系统：种群、群落、生态系统、人，包括情感计算、模糊计算、人口迁移算法）、生物启发计算（DNA计算、膜计算、免疫计算、神经网络计算）、复杂自适应计算（模拟退火算法、量子计算、光子计算、混沌优化，元胞自动机）。

自然计算和仿生学以及人工智能的关系：
1、计算智能（1994年）晚于人工智能（1956年）的提出，二者属于并列关系。
1、自然计算是计算智能中的一部分，利用了仿生学原理。
2、人工智能是以模拟自然计算为基础，利用人工机器模拟人的智能。

第二讲 自然计算的研究综述与统一模型

分为4个层次：
1.宏观设计及方法提升层：包括用户过程设计模块、知识方法提升模块及相关知识库和方法库。知识方法提升模块从知识库和方法库中提取自然智能算法模型库中已有的知识和方法，通过知识方法提升模块进行提升，上升为体系结构。用户过程设计模块针对实际问题，向知识方法库发出模型提取指令，并在现有的自然计算模式的知识方法库中提取所选用的自然计算宏观模型信息和相关知识。
2.任务分解协调层：决策分配，将总体的目标指令分解为相应的局部任务指令，传输给下层的调度实施模块。
3.计算调度及信息感知层：依据上层传递下来的局部任务指令，由各智能体的调度实施模块加以分布式实现。产生的实时信息通过信息交互模块传递给各智能体的调度实施模块。
4.被控实体运动过程层：接受上层实时运动控制参量，实现实体的运动。

第三章 进化计算

进化计算特点：
1、自组织、自适应、自学习的特性，能够不受问题的限制，有效地处理传统优化算法难以解决的复杂问题。
2、不要求所研究的问题是连续、可导的，但是却可以很快求出最优解。
3、七点：有指导搜索、自适应搜索、渐进式寻优、并行式搜索、黑箱式结构、全局最优解、通用性强。
应用领域：人工智能、结构性优化、复杂问题的优化、人工生命、综合应用。
遗传算法的运行机理：
1.传统的模式理论
2.有限状态马尔科夫链
模式：指一些相似的模块，它描述了在某些基因位置上具有相似结构特征的个体字符串的一个子集。
模式的阶次：模式中已有明确含义（二进制字符是指0或1）的字符的个数，O(H),H代表模式。阶次越低，模式的概括性越强，模式H越易于生存。阶次越高，能与该模式匹配的字符串数越少，因而模式的确定性也就越高。
模式的定义距：模式H中第一个确定位的位置到最后一个确定位之间的距离。δ（H)=b-a。模式的定义距代表模式在今后遗传操作中被破坏的可能性。模式长度越短，被破坏坑能性越小，定义距0的最难破坏。

模式定理：具有低阶、短定义距以及平均适应度高于群体平均适应度的模式将在子代中以指数级增长。
积木块假设：低阶、短定义距以及平均适应度高于群体平均适应度的模式称为积木块，可以通过积木块重组构造更好的积木块，产生适应度更高的字符串，从而找到更优的可行解，最终生成全局最优解。
隐含并行定理：在遗传算法中尽管每一代只处理 n 个个体，但实际 上却是处理 n3以上模式
齐次 Markov 链：即从状态 i 出发转移到状态 j 的转移概率与时间起 点m 无关，则称这类为齐次 Markov链。
简单遗传算法（SGA）可以被描述为一个齐次Markov 链，同时可以证明 简单遗传算法并不能收敛到全局最优值。但是只要对它作一些改动，在选择操作中不按比例进行，而是采 用最佳个体保留策略的遗传算法，保留当前个体中的最优值，按交叉、变异和种群选择之后更新 当前最优解的循环过程，则遗传算法最终能收敛到全局最优解。


二进制编码：3^L
格雷码：第一位是二进制第一位，后面和下一个异或
实数编码：十进制浮点数
符号编码方法：无数值含义，而只有代码含义的符号集。
适应度：早熟、退化现象
适应度的缓存：每代种群中适应度高的个体进行缓冲，以期能延 长这些个体参与遗传操作的代数，进而改善算法运行过程中的收敛特性。
1.随即联赛选择：
（1）从群体中随机选择 N 个个体进行适应度大小比 较，将其中适应度最高的个体遗传给下一代；
（2）重复上述过程 M 次，就可得到下一代群体中 M 个个体（其中 M 为种群大小）。
2、期望值选择方法：

3、确定式采样选择：
（1）计算个体在下一代中的生存期望数目 （2）确定各个对应个体在下一代群体中的确定生存数 目 ，对个体进行降序排序，顺序取前位个体加入下一 代。
4、无回放余数随机选择：

遗传规划
遗传算法的基础上，层式编码结构。
遗传规划的任务就是从由许多树型可行解组成的搜索 空间中寻找出一个具有最佳适应度的“树”。
遗传算法：

遗传规划：（层次结构（树型）结构替代定长的线性字符）
1、确定个体的表达方式，包括函数集F及终止符集T
2、随机产生初始群体、、、

进化策略
它的另一个重要特征是将策略参数也编码到染色体中。因此，一个目标向量X
的染色体可以表示为：
X = (x1x2Lxnσ1σ 2 Lσ n )
其中 xi ,i = 1,2,L, n 是目标参数，而σ i ,i = 1,2,L, n 是策略参数。一般来说，遗传算法的编码
方式比进化策略有着更大的灵活性
二元进化策略：
1.初始化：随机生成1个个体，构成第一代群体的父代。
2.变异：父代个体将自己的基因经过变异后产生1个子代，种群数为2。子代个体与父代个体在基因上有所不同。
2.选择：2个个体中生命力较强的个体成为下一代的父代个体。
如果终止条件满足，结束，不满足回到（2）
进化策略的变异：X(t+1)=X(t)+N(0,σ），自适应机制：

1/5成功法则：如果成功变异（适应值增大）的比率大于1/5，增加变异算子的方差，否则减少其方差。
多元进化策略：
1.初始化：随机生成k个个体，构成第一代群体的父代。
2.变异：父代个体将自己的基因经过变异后产生λ个子代，此λ个子代与父代个体在基因上有所不同。
2.选择：在λ个子代中或者μ+λ个**（μ+λ）-ES子代中选择μ个（μ，λ）-ES**中生命力较强的个体成为下一代的父代个体。
交叉不是必需
如果终止条件满足，结束，不满足回到（2）

进化规划

变异：

元进化规划的变异尽管类似于进化策略，但是它们有下述区别：
（1）执行顺序不同。进化规划中首先计算新个体的目标变量 ′ xi ，计算中沿用旧个体
的标准差σ i ，其次才计算新个体的标准差 ′ σ i ，新的标准差留待下次进行时采用。与之相反，
进化策略是先调整标准差σ ，然后再用新的标准差σ′ 去更改个体的目标函数X。 （2）计算式的不同。进化规划的计算式比进化策略的计算式（4-36）简单。
父代每次产生 μ 个新个体（2 μ 个个体）

终止条件：最大进化代次、 最优个体与期望值的偏差、 适应度的变化趋势、最优适应度与最差适应度之差

第四讲 模拟退火算法

什么叫模拟退火算法？组合优化与物理退火有哪些相似性？
SA是源于固体退火原理（退火是指将固体加热到足够高的温度，使分子呈随 机排列状态，然后逐步降温使之冷却，最后分子以低 能状态排列，固体达到某种稳定状态。）的一种拟物智能算法，其出发点是受物理退火过程启发，模拟固体加温、等温、冷却等物理过程，结合Metropolis抽样准则进行科学计算的一种启发式随机寻优算法。
解-例子状态
最优解-能量最低的状态
设定初温-熔解过程
Metropolis抽样过程-等温过程
控制参数的下降-冷却
目标函数-能量

Metropolis准则与冷却进度表在模拟退火算法中起到什么作用？
Metropolis准则——以概率接受新状态。
p=exp(-ΔE/KT),避免搜索过程陷入局部极小，最终趋于问题的全局最优解。
调整模拟退火法的一系列重要参数为冷却进度表（控制参数T的处置，控制T的衰减函数，马尔科夫链长度Lk,结束条件的选择），决定算法的收敛性和实验性能（解的质量和CPU所花时间）
分布式计算

由于分布估计算法没有交叉和变异，通常不用基因描述个体所包含的信息，用变量。
（1）构建描述解空间的概率模型。通过对种群的评估，选择优秀的个体集合，采用统计学习等手段构造一个描述当前解集的概率模型。
（2）由概率模型随机采样产生新的种群，一般采用蒙特卡洛方法，对概率模型采样得到新的种群。
PCILc:
1、随机产生初始种群并计算种群中所有个体的适应度，根据公式初始化概率模型

2、采用线性学习方式更新高斯分布的均值：

3、采用线性学习方式更新高斯分布的方差：

4、根据更新的高斯分布产生新样本
群智能
人们把群居昆虫的集体行为叫做“群智能”，个体的行为很简单，但当它们一起协同工作时，却能够突现出非常复杂（智能）的行为特征。
群智能算法与进化计算的异同点？
1、它们都是基于群体迭代的启发式随机优化算法，都是对自然界中随机系统的仿真，都具有本质并行性。
2、它们都不是为了忠实地模拟自然现象，而是利用它们的某些特点去解决实际问题。
3、它们模拟的自然随机系统不同：进化计算时模拟生物系统进化过程；群体智能算法是对动物社会通过协作解决问题行为的模拟。
4、群智能强调“协同合作”，不好的个体通过学习向好的方向转变，不好的个体被保留还可以增强群体的多样性。进化计算中最好的个体通过产生更多后代来传播自己的基因。
5、进化计算的迭代由选择、变异和交叉重组组成，群智能迭代中的操作是“跟随”，隐含了选择、变异和交叉重组操作。
蚁群优化ACO
蚁群问题解决TSP问题：
1、初始，将m只蚂蚁随即放到n座城市
2、将每只蚂蚁k的紧急表的第一个元素tabuk(1)设置为它当前所在城市
3、设各路径上的信息素tij(0)=C,较小一常数
4、每只蚂蚁根据路径上的信息素和启发式信息（两城市间的距离）独立地选择下一座城市。
t时刻,蚂蚁k从城市i转移到城市j的概率为：
α取较大值时，意味着信息素非常重要体现蚂蚁间的协同作用，搜索的随机性会减弱。α取较小值时，变成随机的贪婪算法，容易过早陷入局部最优，蚂蚁之间无协同作用。
β越大，在某个局部点上选择局部最短路径的可能性就越大，收敛速度得到加快，但蚁群最优路径的随机性减弱，容易陷入局部最优解。
5、当所有蚂蚁完成一次周游后，各路径上的信息素将进行更新：



ant-density和ant-quantity中蚂蚁在两个位置节点间每移动一次后即更新信息素（局部信息），ant-cycle中当所有的蚂蚁都完成了自己的行程后（全局信息）才对信息素进行更新。
最优保留策略：每次迭代完成后，对全局最优解更进一步地进行利用。该策略能够以更快的速度获得最好解，但是如果选择的精英过多则算法会由于较早收敛于局部次优解而导致搜索的过早停滞。
最大-最小蚂蚁系统
1、只有最优解所属路径上的信息被更新：

2、为了避免过早收敛，将各条路径可能的信息素限制于【min,max】
3、初始，各路径上的信息素设置为max，ρ取较小值。
基于排序的蚂蚁系统
每次迭代完成后，蚂蚁所经路径按从小到大的顺序排列，并对它们赋予不同权值，路径越短权值越大。全局最优解权值为w，第r个最优解的权值为max{0,w-r}

粒子群算法

基本原理和基本特点是什么？
原理：假设一个区域，所有鸟都不知道食物的位置，但是它们知道当前位置离食物还有多远。PSO算法将每个解看作一只鸟，称为“粒子”，所有的粒子都有一个适应值，每个粒子都有一个速度决定它们的飞翔方向和距离，粒子们追随当前最优粒子在解空间中搜索。初始化为一群随机粒子，通过迭代找到最优。每次迭代中，粒子通过跟踪“个体极值pbest”和“全体极值gbest”来更新自己的位置。
特点：源于对鸟群捕食行为的研究，是基于迭代的方法。简单易于实现，需要调整的参数相对较少。在函数优化、神经网络训练、工业系统优化和模糊系统控制等领域得到了广泛的应用。
w:较大有利于跳出局部极值，较小有利于算法收敛
c2,c1:表示粒子的动作来源于自己的经验的部分和其他粒子经验的部分，低值允许粒子在被拉回之前可以在目标区域外徘徊，高值则导致粒子突然冲向或越过目标区域。

粒子群算法与遗传算法的比较：
同：1.都属于放生算法2、都属于全局优化方法3、都属于随即搜索算法4、都隐含并行性5、不受函数约束条件的约束，如连续性、可导性6、对高维复杂问题，往往会遇到早熟收敛和收敛性能差的缺点，都无法保证收敛到最优点。
异：1、PSO有记忆，所有粒子都保存较优解的知识，而GA以前的知识随着种群的改变被改变2、PSO中的粒子是一种单向共享信息机制，而GA中的染色体之间相互共享信息，使得这个种群都向最优区域移动3、GA需要编码和遗传操作，PSO没有交叉和变异操作，粒子只是通过内部速度进行更新，原理更简单，参数更少，实现更容易。
PSO的其他应用
神经网络的训练：每个粒子包含神经网络的所有参数，通过迭代来优化这些参数，从而达到训练的目的。与BP相比，PSO训练神经网络不适用梯度信息，可使用一些不可微分的传递函数，多数情况下优于BP算法，而且训练速度非常快。
参数优化：模糊控制器的设计、机器人路径规划、信号处理和模式识别问题
组合优化：背包问题、目标分配问题、作业调度问题
多目标优化、生物信号识别、游戏训练。。。
PSO存在的问题：
1、数学理论基础相对薄弱
2、参数设置没有确切的理论依据，对具体问题和应用环境的依赖性大
3、比较性研究不足，缺乏用于性能评估的标准测试集
4、不具备绝对的可信性，存在应用风险
进一步工作：
1、进一步研究真实群居动物的行为特征
2、进一步研究算法的收敛性
3、进一步提高收敛速度，从而解决大规模优化问题
4、进一步研究各种参数设置问题
5、研究群智能的并行算法
6、进一步研究各算法的适用范围
7、研究与其他算法的混合技术

人工免疫计算

应用：自动控制、故障诊断、模式识别、图像识别、优化设计、机器学习、网络安全
国际研究新动向
1、将AIS与模糊系统、神经网络和遗传算法等计算技术集成，给出其应用方法
2、基于最新发展的免疫网络学说进一步建立并完善模糊、神经和其他人工免疫网络模型及其应用方法。
3、将AIS与遗传系统的机理相结合，归纳出各种免疫学习算法
4、展开对基于免疫反馈机理的控制系统的设计方法和应用研究
5、进一步研究基于免疫系统机理的分布式自治系统
6、发展基于DNA编码的AIS以及基于DNA计算的免疫算法
7、研究AIS的非线性行为
8、研制实际产品，工程应用

生物免疫两种类型：特异性免疫、非特异性免疫
两个主要部分：
1、固有免疫系统：抵抗抗原感染的第一道防线，抗原多数在这里被组织，如果被攻破，自适应免疫系统针对特定感染病原体开始发挥作用。
2、自适应免疫系统：能够记住入侵的抗原特征，预防下一次袭击。包括体液免疫（由B细胞及其产物介导）、细胞免疫（由T细胞介导）
生物免疫系统的两种应答方式是怎样的？
初次应答：发生在免疫系统遭遇第一次遇到狗的抗原并对其反应的时候，免疫系统能够学习抗原，该机制产生免疫记忆，这样为身体再次遇到同样的抗原时产生二次应答。当抗体结合一个抗原时，B细胞受刺激产生自体克隆，成长的克隆体现一种变异机制使免疫系统具有适应性。
人工免疫机理：
1、记忆性：TB细胞在一次免疫相应后，如果同类抗原再刺激时，短时间内免疫系统会产生比上一次多得多的抗体，同时与该抗原的亲和力也提高了。
2、反馈机制：抗原较多，TB多；抗原减少，B细胞减少，一段时间后免疫反馈系统趋于平衡。可以提高进化算法的局部搜索能力，提高个体适应环境的能力。
3、多样性遗传机理
抗体的种类要远大于已知抗原的种类。种系学说、体细胞突变学说：受基因片段多样性的连接以及重组和轻链配对等复杂机制所控制。可以用于搜索的优化，进化地处理不同抗原的抗体，提高全局搜索能力，避免陷入局部最优，
4、克隆选择机理：细胞的无性繁殖称为克隆。当每一种抗原侵入机体都能在机体内选择出能识别和消灭相应抗原的免疫细胞克隆，使之激活、分化、增殖，进行免疫应答以最终清除抗原。
5、其他机理：分布自治机理、自组织存储机理
进化+免疫：
抗原：所有可能错误的基因，即非最佳个体的基因。
疫苗：根据先验知识，多得到的对最佳个体基因的估计
抗体：根据疫苗修正某个个体的基因所得到的新个体。
免疫算子：全免疫（非特异性免疫）：群体中的每个个体在进化算子作用后，对其每一环节都进行一次免疫操作的免疫类型
目标免疫（特异性免疫）:在进行了进化操作之后，经过一定的判断，个体仅在作用点初发生免疫反应的一种类型。
算法中的免疫思想主要是在合理提取疫苗的基础上，通过免疫算子来实现的，免疫算子由接种疫苗和免疫选择两个操作完成，目的是为了提高个体的适应度，防止群体的退化。
接种疫苗：按照先验知识来修改个体x某些基因位上的基因或其分量，使所得个体以较大的概率具有更高的适应度，疫苗是从先验知识中提炼出来的，它所含的信息量及其准确性对算法性能的发挥起着重要的作用。
免疫选择：第一步是免疫检测：对接种了疫苗的个体进行检测，如果适应度仍不如父代，则该个体将被父代中所对应的个体替代；第二步是退火选择，即在目前的子代群体中以概率选择个体进入新的父代群体。（在免疫策略中，仅有免疫检测而没退火选择）
免疫算子定理：在免疫选择作用下，若疫苗使抗体适应度得到提高，且高于当前群体的平均适应度，则疫苗所对应的模式将在群体中呈指数级扩散，否则，它将被遏制或呈指数级衰减，

1、免疫算法

1、随机产生初始父代种群A1,根据先验知识抽取疫苗
2、若当前群体中包含最佳个体，则算法停止运行并输出结果，否则继续。
3、对当前第k代父本种群Ak进行交叉选择，得到种群Bk
4、对Bk进行变异操作，得到种群Ck
5、对Ck进行接种疫苗操作，得到种群Dk
6、对Dk进行免疫选择操作得到新一代父本Ak+1，转至第二步。
定理：免疫算法是收敛的

2、免疫规划

1、首先根据要求确定解的精度；随机产生N个个体，并由此构成初始父代种群A0
2、根据先验知识抽取疫苗H
3、计算当前种群Ak的个体适应度，并进行停机条件的判断。若条件满足，则停止运行并输出结果，否则继续。
4、对当前Ak进行变异操作，生成子代群体Bk.
5、对Bk进行接种疫苗操作，得到种群Ck
6、对Ck进行免疫选择操作得到新一代父本Ak+1，转至第三步。
定理：免疫规划是收敛的

3、免疫策略

1、根据要求确定解的精度；根据先验知识提取疫苗H
2、随机产生μ个个体作为初始的父本群体
3、交叉：产生由父代和子代构成的规模为2μ的中间群体
4、变异：对每一个个体进行变异得到一个新的个体
5、免疫：首先按照对问题的先验知识修改个体（X,σ）的某些分量；然后对群体中注射了疫苗的个体进行检测。
6、选择：从规模为2μ的群体中按适应度的大小提出前μ个个体作为新一代父代的群体
7、停机条件检测