模拟退火算法详解以及使用optimtool工具

简介

模拟退火算法（Simulated  Annealing, SA）是一种通用的随机搜索算法，是对局部搜索算法的扩展。与一般局部搜索算法不同，SA以一定的概率选择邻域中目标值相对较小的状态，是一种理论上的全局最优算法。
模拟退火算法是源于对热力学中退火过程的模拟，在某一给定初温下，通过缓慢下降温度参数，使算法能够在多项式时间内给出一个近似最优解。

 

模拟退火过程

1）设定初始高温，相当于物理退火的加温过程。初始温度要足够高，在实际应用中，要根据以往的经验，通过反复实验来确定T0的值。

2）热平衡达到，相当于物理退火的等温过程。是指在一个给定温度下，SA用特殊的抽样策略进行随机搜索，最终达到平衡状态的过程。这是SA算法的内循环过程。

3）降温函数，相当于物理退火的冷却过程。用来控制温度的下降方式，这是SA算法的外循环过程。常用的降温函数有Tk+1=Tk-DT，Tk+1=Tk*r，其中r∈(0.95,0.99)。

 

至于邻域解的操作，不进只是这样的swap的操作，也可以有reverse操作，即

            

然后设置好参数：

 

下面使用matlaba 自带的模拟退火工具箱进行简单的举例：

Matlab版本是R2016,可以使用此工具箱，但是到了R2018就不再使用此工具箱，有新的语法表示，详解请看官网。

例1： 求解一元函数 y=sin(5*pi*x)/x  , 自变量x范围[1,2];

首先，我们用groud-truth方法直观的将其plot画出来，然后将其极值标注出来，以此来对比模拟退火算法的准确性。

%% II. 一元函数优化
x = 1:0.01:2;
y = sin(5*pi*x) ./ x;
figure
plot(x,y,'linewidth',1.5)
ylim([-1.5, 1.5])
xlabel('x')
ylabel('y')
title('y = sin(5*pi*x) / x')
hold on
%%
% 1. 标记出最大值点
[maxVal,maxIndex] = max(y);
plot(x(maxIndex), maxVal, 'r*','linewidth',2)
text(x(maxIndex), maxVal, {['    X: ' num2str(x(maxIndex))];['    Y: ' num2str(maxVal)]})
hold on
 
%%
% 2. 标记出最小值点
[minVal,minIndex] = min(y);
plot(x(minIndex), minVal, 'ks','linewidth',2)
text(x(minIndex), minVal, {['    X: ' num2str(x(minIndex))];['    Y: ' num2str(minVal)]})

可以看出此自变量范围内极大值点[1.3,0.76923]，极小值点[1.1,-0.90909];

下面使用matlab 自带的模拟退火工具箱：

在matlab中新建一个函数cost.m ，如下所示：

function costVal = cost( x )
 
%一元函数优化：
 
costVal = sin(5*pi*x) / x;  %求最小值
 
% costVal = -1 * sin(5*pi*x) / x; %用模拟退火求最大值，可以加个负号或者弄个倒数
  
end

首先，命令行敲击>>optimatool,调出工具箱。

接着

最后，点击start按钮，等待迭代，可以看到可视化的结果。如下所示：

极小值点为（1.096，-0.910577）与最初ground-truth的极小值点（1.1，-0.90909）在误差范围内。