【数学建模】算法模型（四）智能优化｜遗传算法 粒子群算法

数学建模四种算法（类型）：

1. 微分方程+数值计算
2. 机器学习算法（概率统计、解决聚类问题）
3. 智能优化算法（神经网络、遗传算法、粒子群算法，解决复杂规划系统）
4. 深度学习（卷积神经网络，足够多的数据）

16. 遗传算法GA

16.1 概述

• 一种仿生全局优化算法
• 模仿生物的遗传进化原理（Darwin’s theory of evolution & Mendel’s law of inheritance)，通过选择（Selection）、交叉（Crossover）与变异（Mutation）等操作机制，使种群中个体的适应性（Fitness）不断提高
• 物竞天择，适者生存。
  天——适应度函数，Fitness Function

16.2 遗传算法步骤

1. 选择编码策略，把参数集合（可行解集合）转换染色体结构空间
2. 定义适应度函数，便于计算适应值；
3. 确定遗传策略，包括选择群体大小，选择、交叉、变异方法以及确定交叉概率、变异概率等遗传参数；
4. 随机产生初始化群体
5. 计算群体中的个体或染色体解码后的适应值
6. 按照遗传策略，运用选择、交叉和编译算子作用于群体，形成下一代群体
7. 判断群体性能是否满足某一指标，或已完成预定的迭代次数，不满足则返回第五步，或着修改遗传策略再返回第六步。
   

16.3 GA优化NN的权重

17. 粒子群算法PSO

求解复杂的优化问题。

17.1 概述

每个寻优的问题解都被想像成一只鸟，称为“粒子”。所有粒子都在一个D维空间进行搜索。
所有的粒子都由一个fitness function 确定适应值以判断目前的位置好坏。
每一个粒子必须赋予记忆功能，能记住所搜寻到的最佳位置。
每一个粒子还有一个速度以决定飞行的距离和方向。这个速度根据它本身的飞行经验以及同伴的飞行经验进行动态调整。

17.2 粒子群优化算法求最优解

• D维空间中，有N个粒子；
  粒子i位置：xi=(xi1,xi2,…xiD)，将xi代入适应函数f(xi)求适应值；
  粒子i速度：vi=(vi1,vi2,…viD)
  粒子i个体经历过的最好位置：pbesti=(pi1,pi2,…piD)
  种群所经历过的最好位置：gbest=(g1,g2,…gD)
  通常，在第d（1≤d≤D）维的位置变化范围限定在[xmin,xmax]内， 速度变化范围限定在[-vmax,vmax]内（即在迭代中若xid,vid超出了边界值，则该维的速度或位置被限制为该维最大速度或边界 位置）

• 粒子i的第d维速度更新公式：
  

粒子速度更新公式包含三部分：
第一部分为粒子先前的速度
第二部分为“认知”部分，表示粒子本身的思考，可理解为粒子i当前位置与自己最好位置之间的距离。
第三部分为“社会”部分，表示粒子间的信息共享与合作，可理解为粒子i当前位置与群体最好位置之间的距离。

• 粒子i的第d维位置更新公式：
  

vid,k —第k次迭代粒子i飞行速度矢量的第d维分量
xid,k—第k次迭代粒子i位置矢量的第d维分量
c1,c2—加速度常数，调节学习最大步长
r1,r2—两个随机函数，取值范围[0，1]，以增加搜索随机性
w —惯性权重，非负数，调节对解空间的搜索范围

17.3 粒子群算法流程

1. 在初始化范围内，对粒子群进行随机初始化，包括随机位置和速度
2. 计算每个粒子的适应值
3. 更新粒子个体的历史最优位置
4. 更新粒子群体的历史最优位置
5. 更新粒子的速度和位置，公式见上
6. 若未达到终止条件，则转第二步