模拟退火算法(SA)简单介绍，附用python3求解最大值案例

简介

模拟退火算法（Simulate Anneal，SA）是一种通用概率演算法，用来在一个大的搜寻空间内找寻命题的最优解。其思想借鉴于固体的退火原理，当固体的温度很高的时候，内能比较大，固体的内部粒子处于快速无序运动，当温度慢慢降低的过程中，固体的内能减小，粒子的慢慢趋于有序，最终，当固体处于常温时，内能达到最小，此时，粒子最为稳定。模拟退火算法便是基于这样的原理设计而成。

套用知乎上的形象描述：

一个锅底凹凸不平有很多坑的大锅，晃动这个锅使得一个小球使其达到全局最低点。一开始晃得比较厉害，小球的变化也就比较大，在趋于全局最低的时候慢慢减小晃锅的幅度，直到最后不晃锅，小球达到全局最低。

---

爬山算法

介绍模拟退火，一般会提到爬山算法。爬山算法是一种简单的贪心搜索算法，该算法每次从当前解的临近解空间中选择一个最优解作为当前解，直到达到一个局部最优解。

如上图所示，如果是简单的爬山算法，那么从出发点开始，遇到A就不会再爬了（肯定不会往D移动），因为A是其附近的一个比较高的点，再往两边走都会下降。这就是陷入了局部最优解。爬山算法可以说是完全“贪心”的，鼠目寸光，丝毫不知道后面还有C等着它。

---

模拟退火思想

事实上，与爬山算法相似，模拟退火也是一种贪心算法，但它到达A之后，有一定概率往D移动，并且随着时间推移（温度逐渐下降），这个概率会逐渐降低（这样最终才能稳定）。这个过程很像金属退火的那个过程，故退火算法因此得名。那么这个一定概率怎么表达呢，根据热力学原理，在温度为T时，出现能量差降温的概率为：

$$p(\Delta E)=e^{-\frac {\Delta E}{kT}}$$
上面的公式是金属冶金的，这个公式翻译成模拟退火算法就是：假设现在位于某个位置 $x_0$，现在随机发生了一个位移到达 $x_0+\Delta x$，当发生位移后因变量 $y|_{x=x_0+\Delta x}$小于原来的 y