本文将对模拟退火算法(Simulated Annealing)进行介绍,深入理解这个算法。
模拟退火算法和上一篇文章随机模拟算法中的Metropolis算法有着紧密的联系,在这里将详细探讨这种关系。
我们先从这个算法要解决的问题出发,逐步引出相应的算法。(pku, sewm,shinning)
一. 问题
人们经常遇到这样的问题:在某个定义域S内,求某个函数f(x)的最小值,形式化为Min f(x),x属于S。这是一个优化问题,根据f(x)的形式不同,有很多的优化算法来解决这类问题,简单的有穷举法(适用于定义域小的情况),图解法,数学分析法(求导数法)等精确算法,如果很难精确求得,还有很多的近似求解法,如贪心法(如爬山法,最速下降法,梯度下降法),随机模拟方法(MCMC等)。本文将介绍的模拟退火方法属于随机模拟方法,但是是可以求得精确解的(概率为1求得全局优化解),神奇吧!
二. 算法的基本思想
那怎么求解f(x)的最小值呢?它的思想是利用Gibbs分布:S中的一个点x的概率满足分布:p(x, T) = EXP(-f(x)/T)/Z,Z是归一化因子。现在假设T-> 0,可以看到f(x)越小,p(x,T)越大,意味着f(x)以非常大的概率取得最小值ÿ