模拟退火法

模拟退火法概述

模拟退火法来源于固体退火原理，将固体加热至充分高，再让其慢慢冷却，加热时，固体内部粒子随温度升高变为无序状态，内能增大，而慢慢冷却时粒子逐渐有序，在每个温度都达到平衡态，最后再常温时达到基态，内能减为最小。根据Metropolis准则，粒子在温度T时趋于平衡的概率为 e-ΔE/(KT)，其中E为温度T时的内能，ΔE为其改变量，K为Boltzmann常数。
用固体退火模拟组合优化问题，将内能E模拟为目标函数f，温度T演化为控制参数t，即得到解组合优化问题的模拟退火法：由初始解i和控制参数初值t开始，对当前解重复“产生新解---计算目标函数差---接受或舍弃”的迭代，并逐步衰减t值，算法终止时的当前解即为所得到的近似最优解，这是基于蒙特卡洛迭代法的一种启发式随机搜索过程。退火过程由冷却进度表（cooling schedule）控制，包括控制参数的初值t及衰减因子Δt、每个t值时的迭代次数L和停止条件S。

算法流程

模拟退火算法可以分为解空间、目标函数和初始解三部分。
（1）初始化：初始温度T（充分大），初始解状态S（算法迭代的起点），每个T值的迭代次数L
（2）对K=1，…，L做第（3）-（6）步；
（3）计算新解S’；
（4）计算增量Δt’=C(S’)-C(S)，其中C(S)为评价函数；
（5）若Δt’<0，则接受S’作为新的当前解，否则以概率exp(-Δt’/T)接受S’作为新的当前解；
（6）如果满足终止条件则输出当前解作为最优解，结束程序，终止条件通常取连续若干个新解都没有被接受时种植算法；
（7）T逐渐减少，且T>0，转向第二步。

算法解读

模拟退火法新解的产生和接受可分为四个部分：
第一步是由一个产生函数从当前解产生一个位于解空间的新解；为便于后续的计算和接受，减少算法耗时，通常选择由当前新解经过简单的变换即可产生新解的方法，如对构成新解的全部或者部分元素进行置换、互换等，注意到产生新解的变换方法决定了当前新解的领域结构，因而对冷却进度表的选取有一定的影响。
第二步是计算与新解所对应的目标函数差。因而目标函数差仅由变换部分产生，所以目标函数差的计算最好是按增量计算。事实表明，对于大多数应用而言，这是计算目标函数差的最快方法。
第三步是判断新解是否被接受，判断依据是一个接受准则，最常用的接受准则是Metropolis准则：若Δt’<0，则接受S’作为新的当前解S，否则以概率exp(-Δt’/T)接受S’作为新的当前解S。
第四步是当前新解被确定接受时，用新解代替当前解，这只需要将当前解中对应于产生新解时的变换部分予以实现，同时修正目标函数值即可。此时，当前解实现了一次迭代。可在此基础上开始下一轮试验。而当新解被判定为舍弃时，则在原当前解的基础上继续下一轮试验。

模拟退火法优点

1）模拟退火算法与初始值无关，算法求得的解与初始解状态S无关；
2）模拟退火算法的主要优点之一就是能以一定的概率接受目标函数值不太好的状态， 这使得该算法即便落入局部最优的陷阱中，理论上经过足够长的时间也可以跳出局部最优。因此，模拟退火算法具有渐进收敛性；
3）模拟退火算法具有并行性；