SA（Simulated Annealing，模拟退火算法）

一句话总结：

模拟退火引入了随机因素，以一定的概率来接受一个比当前解要差的解，因此可能会跳出这个局部最优解，达到全局最优解。

模拟退火算法描述：

• 若J( Y(i+1) )>= J( Y(i) ) (即移动后得到更优解)，则总是接受该移动。
• 若J( Y(i+1) )< J( Y(i) ) (即移动后的解比当前解要差)，则以一定的概率接受移动，而且这个概率随着时间推移逐渐降低（逐渐降低才能趋向稳定）。

这里的“一定的概率”的计算参考了金属冶炼的退火过程(温度越高，粒子内能越高，温度发生跳变的概率也大，温度越低，越趋于稳定)，这也是模拟退火算法名称的由来。

爬山算法：兔子朝着比现在高的地方跳去。它找到了不远处的最高山峰。但是这座山不一定是珠穆朗玛峰。这就是爬山算法，它不能保证局部最优值就是全局最优值。

模拟退火：兔子喝醉了。它随机地跳了很长时间。这期间，它可能走向高处，也可能踏入平地。但是，它渐渐清醒了并朝最高方向跳去。这就是模拟退火。

一、大白话解析模拟退火算法

模拟退火(SA,Simulated Annealing)思想

爬山法是完完全全的贪心法，每次都鼠目寸光的选择一个当前最优解，因此只能搜索到局部的最优值。模拟退火其实也是一种贪心算法，但是它的搜索过程引入了随机因素。模拟退火算法以一定的概率来接受一个比当前解要差的解，因此有可能会跳出这个局部的最优解，达到全局的最优解。以下图为例，模拟退火算法在搜索到局部最优解A后，会以一定的概率接受到E的移动。也许经过几次这样的不是局部最优的移动后会到达D点，于是就跳出了局部最大值A。

模拟退火算法描述：

• 若J( Y(i+1) )>= J( Y(i) ) (即移动后得到更优解)，则总是接受该移动。
• 若J( Y(i+1) )< J( Y(i) ) (即移动后的解比当前解要差)，则以一定的概率接受移动，而且这个概率随着时间推移逐渐降低（逐渐降低才能趋向稳定）。

这里的“一定的概率”的计算参考了金属冶炼的退火过程，这也是模拟退火算法名称的由来。

根据热力学的原理，在温度为T时，出现能量差为dE的降温的概率为P(dE)，表示为：

$P(dE)=exp(\frac{dE}{(kT})$

爬山算法：兔子朝着比现在高的地方跳去。它找到了不远处的最高山峰。但是这座山不一定是珠穆朗玛峰。这就是爬山算法，它不能保证局部最优值就是全局最优值。

模拟退火：兔子喝醉了。它随机地跳了很长时间。这期间，它可能走向高处，也可能踏入平地。但是，它渐渐清醒了并朝最高方向跳去。这就是模拟退火。

二、模拟退火算法从原理到实战【基础篇】

模拟退火算法新解的产生和接受可分为如下四个步骤：

1. 由一个产生函数从当前解产生一个位于解空间的新解；
   为便于后续的计算和接受，减少算法耗时，通常选择由当前新解经过简单地变换即可产生新解的方法，如对构成新解的全部或部分元素进行置换、互换等，注意到产生新解的变换方法决定了当前新解的邻域结构，因而对冷却进度表的选取有一定的影响。

2. 计算与新解所对应的目标函数差
   因为目标函数差仅由变换部分产生，所以目标函数差的计算最好按增量计算。事实表明，对大多数应用而言，这是计算目标函数差的最快方法。

3. 判断新解是否被接受
   判断的依据是一个接受准则，最常用的接受准则是 Metropolis 准则: 若Δt′<0 则接受S′作为新的当前解S，否则以概率exp(-Δt′/T)接受S′作为新的当前解S。

4. 新解代替当前解
   当新解被确定接受时，用新解代替当前解，这只需将当前解中对应于产生新解时的变换部分予以实现，同时修正目标函数值即可。此时，当前解实现了一次迭代。可在此基础上开始下一轮试验。而当新解被判定为舍弃时，则在原当前解的基础上继续下一轮试验。模拟退火算法与初始值无关，算法求得的解与初始解状态 S (是算法迭代的起点)无关；模拟退火算法具有渐近收敛性，已在理论上被证明是一种以概率 l 收敛于全局最优解的全局优化算法；模拟退火算法具有并行性

• 模拟退火算法其实也是一个贪心算法，只不过加入了随机因素，才有可能跳出局部最优解，得到全局最优解

三、模拟退火算法学习笔记

• 里面有很多 matlab 的实例，很有趣