算法学习报告-03 模拟退火算法

软件工程师TonnyJack

于 2021-05-10 19:15:13 发布

阅读量654

点赞数

分类专栏：算法学习笔记文章标签：算法机器学习人工智能

本文链接：https://blog.csdn.net/weixin_42035443/article/details/116568848

版权

3 篇文章 0 订阅

订阅专栏

模拟退火算法（Simulated Annealing Algorithm）

模拟退火算法（Simulated Annealing Algorithm，SA）是三大非经典算法之一，来源于固体退火原理，是一种基于概率的算法。

模拟退火算法是一种通用概率算法，用来在一个大的搜寻空间内寻找问题的最优解。其思想来源于固体的退火过程：将固体加温至充分高，再让其徐徐冷却，加温时，固体内部粒子随温升变为无序状，内能增大，而徐徐冷却时粒子渐趋有序，在每个温度都达到平衡态，最后在常温时达到基态，内能减为最小。

下图可以较为直观地理解物理退火过程与模拟退火算法的类比关系：

符号	意义
控制参数的初值 $T_{0}$	冷却开始的温度
控制参数 $T$ 的衰减函数	计算将连续数据转化为计算机可处理的离散数据的表达式
控制参数 $T$ 的终值 $T_{i}$	停止准则
Markov链的长度 $L_{k}$	任意温度 $T$ 的迭代次数

令 $T = T_{0}$ ，即开始退火的初始温度，随机生成一个初始解 $x_{0}$ ，并计算相应的目标函数值 $E(x_{0})$ 。
令 $T$ 等于冷却进度表中的下一个值 $T_{i}$ .
根据当前解 $x_{i}$ 进行扰动，产生一个新解 $x_{i}$ ，计算相应的目标函数值 $E(x_{j})$ ，得到 $\Delta E = E(x_{j} - E(x_{i})$ 。
如果 $\Delta E < 0$ ，则新解 $x_{j}$ 被接受，作为新的当前解；如果 $\Delta E > 0$ ，则新解 $x_{j}$ 按概率 $exp(-\Delta E / T_{i})$ 接受， $T_{i}$ 为当前温度。
在温度 $T_{i}$ 下，重复 $L_{k}$ 次的扰动和接受过程（ $L_{k}$ 是 Markov链长度），即步骤 3，4。
判断是否 $T$ 已经到达 $T_{f}$ ，是，则终止算法，否，则转到步骤 2 继续执行。

算法实际上分为两层循环，在任意温度随机扰动产生新解，并计算目标函数值的变化，决定是否被接受。由于初始温度较高，使 $E$ 增大的新解在初始时也可能被接受，因而能跳出局部极小值，然后通过缓慢地降低温度，算法最终可能收敛到全局最优解。

状态表达：实际问题的解（即状态）如何应当以一种合适的数学形式被表达出来，它应当适用于SA的求解，又能充分表达实际问题。
新解的产生：新解产生机制的基本要求是能够尽量遍及解空间的各个区域，这样在某一恒定温度不断产生新解时，就可能跳出当前区域以搜索其他区域。
收敛的一般性条件：
1.初始温度足够高
2.热平衡时间足够长
3.终止温度足够低
4.降温过程足够缓慢
参数的选择：控制参数 $T$ 的初值 $T_{0}$ ：模拟退火算法是通过控制参数 $T$ 的初值 $T_{0}$ 及其衰减变化的过程来实现大范围的粗略搜索，最终求得全局最优解。

控制参数 $T$ 的衰减函数：衰减函数有多种形式，常用的衰减函数是： $T_{k+1} = \alpha T_{k} (k = 0, 1, 2, ...)$ 。其中， $\alpha$ 是一个常数，可以取0.5-0.99，它的取值决定了降温的过程。

Markov链长度：选取原则：在控制参数T的衰减函数确定的前提下， $L_{k}$ 应能使在控制参数 $T$ 的每一取值上达到准平衡。

关注