模拟退火算法是受物理学领域启发而提出的一种优化算法。所谓的退火是指将合金加热后再慢慢冷却的过程。大量的原子因为受到激发而向周围跳跃,然后又逐渐稳定到一个低能阶的状态,所以这些原子能够找到一个低能阶的配置(configuration)。
退火算法以一个问题的随机解开始。它用一个变量来表示温度,这一温度开始时非常高,而后逐渐变低:
def annealing(..., T=10000., cool=0.95, ...):
while T>0.1:
...
T *= cool
退火算法的每一次迭代期间,算法会首先随机地选择某个数字,然后朝某个方向变化。算法最为关键的部分在于,如果新的变化带来的新的成本更低,则新的题解就会成为当前题解,这个爬山算法类似。不过如果成本值更高的话,则新的题解仍将可能成为当前题解(这是不同于爬山算法的地方)。这也是避免出现局部最小值的一种改进。
某些情况下,我们能够得到一个更优的解之前转向一个更差的解是很有必要的。模拟算法之所以管用,不仅在于它总是会接受一个更优的解,而且在退货的开始阶段会(以一定概率)接受表现较差的解。随着退火过程(温度减少)的不断进行,算法越来越不可能接受较差的解。知道最后节点,它将只会接受更优的解。更高成本的题解,其被接受的概率如下:
p=e−(highcost-lowcost)T
T 温度(表示接受较差解的意愿)开始非常高,指数部分接近于0,所以概率几乎为1.随着温度的递减,高成本和低成本值之间的差异越来越重要——差异越大,概率越低。因此此算法只倾向于稍差的解而不会是非常差的解。
# costf:损失函数,step=1. 每次移动的步长(random.randint(-step, step):往左走,不走,往右走)
def annealing(domains, costf, T=10000., cool=0.95, step=1):
s0 = [random.randint(domains[i][0], domains[i][1]) for i in range(len(domains))]
# 外层循环,逐渐退火,降温
while T>0.1:
i = random.randint(0, len(domains)-1)
dir = random.randint(-step, step)
s1 = s0[:]
s1[i] += dir
if s1[i] < domains[i][0]:
s1[i] = domains[i][0]
if s1[i] > domains[i][1]:
s1[i] = domains[i][1]
c1, c0 = costf(s1), costf(s0)
if (c1 < c0 or random.random() < pow(math.e, -(c1-c0)/T))
# 骤死式语义
s0 = s1
T *= 0.95
return s0