模拟退火算法python代码_Python自然语言处理系列之模拟退火算法

1、基本概念

模拟退火算法(Simulated Annealing，SA)是一种模拟固体降温过程的最优化算法。其模拟的过程是首先将固体加温至某一温度，固体内部的粒子随温度上升慢慢变为无序的状态，内能增大，然后让其慢慢冷却，温度下降时，内部的粒子慢慢趋于有序，达到一种平衡态，最后达到常温时成为基态，此时内能减为最小，算法模拟这样一个过程期望能达到最优化的目的。

模拟退火算法最早是由kirkpatrick等人应用于组合优化领域，它是基于Monte-Carlo迭代求解策略的一种随机寻优算法。算法从某一较高温度开始，不断下降温度参数，结合概率跳变性在解空间中随机的寻找目标函数的全局最优解，算法的关键点是其能在降温过程中达到局部最优解的情况下以一定的概率跳出局部最优解并最终趋于全局最优。模拟退火算法是一种通用的优化算法，理论上以概率1收敛于全局最优，在工程中有比较广泛的应用，如VLSI、生成调度、控制工程、机器学习、神经网络、信号处理等领域。

2、算法原理

模拟退火算法分为三部分：初始解、解空间以及目标函数，分别对应物理退火过程中的初始温度、降温以及最终温度。

1)初始解：初始解释算法迭代的起点，试验表明，模拟退火算法是健壮的，即最终解的求得最优解并不十分依赖初始解的选取，从而可任意选择一个初始解。当然，如果初始解选择得当可以加快找到全局最优解。

2)解空间：一般是离散的可行解的集合。

3)目标函数：对优化目标的量化描述，是解空间到某个数集的一个映射，通常表示为若干优化目标的一个和式，应正确体现问题的整体优化要求且较易计算，当解空间包含不可行解时还应包括罚函数。

算法从初始解或称为初始状态开始，在解空间中进行启发式搜索(通常是随机搜索的方式)，最终搜索到最优的目标值。

算法的基本过程如下：

初始化：设定初始温度T，初始解状态S，终止温度T0；

降温过程：如果T>T0，则循环执行3至6步；

在解空间中随机搜索一个新解S’;

计算增量ΔE=E(S′)-E(S)，其中C(S)为解S对应的目标函数值或称为评价函数；

若ΔE<0则接受S′作为新的当前解，否则以概率exp(-ΔE/T)接受S′作为新的当前解；