最优化算法-模拟退火(SA)

最优化问题

最优化问题，就是在解决问题的过程中，挑选最好的一种决策

全局最优

针对一定条件/环境下的一个问题/目标，若一项决策和所有解决该问题的决策相比是最优的，就可以被称为全局最优。

我们可以定义：在无限制环境集合R内，假设限制条件/环境为集合D（D包含于R），问题代价或目标函数为f(x)，其中x指决策，那么全局最优就是指决策满足:

或者

针对一定条件/环境下的一个问题/目标，若一项决策和部分解决该问题的决策相比是最优的，就可以被称为局部最优。

将上述定义用数学公式表示为：按照上一节的定义，对于D内的一个子集

局部最优

局部最优就是指决策满足，对于D内的一个子集

或

因此，根据全局最优和局部最优的概念可以得到：局部最优不一定是全局最优，全局最优一定是局部最优。

 

模拟退火算法(SA)

1.退火(annealing)

      退火指物体逐渐降温的物理现象。

      物体温度愈低，物体的能量状态会越低，当温度足够低之后，液体开始冷凝与结晶，在结晶状态时，系统的能量状态达到最低。物体在缓慢退火时，可达到最低能量状态。但是，如果退火过快(淬炼,quenching)时，会达到不是最低能态的非晶态。

       因此，根据这个退火的物理过程，构思出来了一种基于模拟退火来寻找全局最优解的算法。(因此从原理上来看，模拟退火也可以算是一种贪心的方法)

 

想象一下如果我们现在有下面这样一个函数，现在想求函数的全局最优解。如果采用Greedy策略，那么从A点开始试探，如果函数值继续减少，最终我们只能找到一个局部最后解B。 

  
  而以上图为例，模拟退火算法在搜索到局部最优解B后，会以一定的概率接受向右继续移动。以一定概率跳到B 和C之间的峰点，于是就跳出了局部最小值B。 因此可以的得到以下结论:

若f( Y(i+1) ) <= f( Y(i) ) (即移动后得到更优解)，则总是接受该移动；
若f( Y(i+1) ) > f( Y(i) ) (即移动后的解比当前解要差)，则以一定的概率接受移动，而且这个概率随着时间推移逐渐降低（逐渐降低才能趋向稳定）相当于上图中，从B移向BC之间的小波峰时，每次右移（即接受一个更糟糕值）的概率在逐渐降低。如果这个坡特别长，那么很有可能最终我们并不会翻过这个坡。如果它不太长，这很有可能会翻过它，这取决于衰减 t 值的设定。

流程图：

模拟退火算法的优缺点

• 迭代搜索效率高，并且可以并行化->（在迭代那一步可以通过并行进行处理）
• 算法中有一定概率接受比当前解较差的解，因此一定程度上可以跳出局部最优；
• 算法求得的解与初始解状态S无关，因此有一定的鲁棒性；
• 具有渐近收敛性，已在理论上被证明是一种以概率收敛于全局最优解的全局优化算法(概率算法

模拟退火算法的参数控制问题

模拟退火算法的应用很广泛，可以求解 NP 完全问题，但其参数难以控制，其主要问题有以下三点：

(1) 温度 T 的初始值设置问题。
温度T的初始值设置是影响模拟退火算法全局搜索性能的重要因素之一、初始温度高，则搜索到全局最优解的可能性大，但因此要花费大量的计算时间；反之，则可节约计算时间，但全局搜索性能可能受到影响。实际应用过程中，初始温度一般需要依据实验结果进行若干次调整。
(2) 退火速度问题。
模拟退火算法的全局搜索性能也与退火速度密切相关。一般来说，同一温度下的“充分”搜索(退火)是相当必要的，但这需要计算时间。实际应用中，要针对具体问题的性质和特征设置合理的退火平衡条件。
(3) 温度管理问题。
温度管理问题也是模拟退火算法难以处理的问题之一。实际应用中，由于必须考虑计算复杂度的切实可行性等问题，常采用如下所示的降温方式：T(t+1)＝k×T(t)

式中 k 为正的略小于 1.00 的常数， t 为降温的次数。