模拟退火算法

wiki里说模拟退火是一种通用概率算法，用来在固定时间内寻求在一个大的搜寻空间内找到的最优解，退火是将材料加热后再经特定速率冷却，目的是增大晶粒的体积，并且减少晶格中的缺陷。材料中的原子原来会停留在使内能有局部最小值的位置，加热使能量变大，原子会离开原来位置，而随机在其他位置中移动。退火冷却时速度较慢，使得原子有较多可能可以找到内能比原先更低的位置

算法先以搜寻空间内一个任意点作起始：每一步先选择一个“邻居”，然后再计算从现有位置到达“邻居”的概率。

可以证明，模拟退火算法所得解依概率收敛到全局最优解。

初始化

生成一个可行的解作为当前解输入迭代过程，并定义一个足够大的数值作为初始温度。

迭代过程

迭代过程是模拟退火算法的核心步骤，分为新解的产生和接受新解两部分：

1. 由一个产生函数从当前解产生一个位于解空间的新解；为便于后续的计算和接受，减少算法耗时，通常选择由当前新解经过简单地变换即可产生新解的方法，如对构成新解的全部或部分元素进行置换、互换等，注意到产生新解的变换方法决定了当前新解的邻域结构，因而对冷却进度表的选取有一定的影响。
2. 计算与新解所对应的目标函数差。因为目标函数差仅由变换部分产生，所以目标函数差的计算最好按增量计算。事实表明，对大多数应用而言，这是计算目标函数差的最快方法。
3. 判断新解是否被接受，判断的依据是一个接受准则，最常用的接受准则是Metropolis准则：若Δt′<0则接受S′作为新的当前解S，否则以概率exp（-Δt′/T）接受S′作为新的当前解S。
4. 当新解被确定接受时，用新解代替当前解，这只需将当前解中对应于产生新解时的变换部分予以实现，同时修正目标函数值即可。此时，当前解实现了一次迭代。可在此基础上开始下一轮试验。而当新解被判定为舍弃时，则在原当前解的基础上继续下一轮试验。

模拟退火算法与初始值无关，算法求得的解与初始解状态S（是算法迭代的起点）无关；模拟退火算法具有渐近收敛性，已在理论上被证明是一种以概率1收敛于全局最优解的全局优化算法；模拟退火算法具有并行性。

停止准则

迭代过程的停止准则：温度T降至某最低值时，完成给定数量迭代中无法接受新解，停止迭代，接受当前寻找的最优解为最终解。

退火方案

在某个温度状态T下，当一定数量的迭代操作完成后，降低温度T，在新的温度状态下执行下一个批次的迭代操作。

虚拟码

寻找能量E（s）最低的状态s

s := s0; e := E (s)                           // 设定目前状态为s0，其能量E (s0)
k := 0                                       // 评估次数k
while k < kmax and e > emax                  // 若还有时间（评估次数k还不到kmax）且结果还不够好（能量e不够低）则：
  sn := neighbour (s)                         //   隨機選取一鄰近狀態sn
  en := E (sn)                                //   sn的能量为E (sn)
  if random() < P(e, en, temp(k/kmax)) then  //   決定是否移至鄰近狀態sn
    s := sn; e := en                         //     移至鄰近狀態sn
  k := k + 1                                 //   评估完成，次数k加一
return s                                     // 回传状态s




传统算法采取简单搜索策略例如爬山法（增加初始点的位置，解决局部最优解的问题）这都是贪心策略，都是算到局部最优解。

模拟退火算法有这样几种方式：

                                               线性退火方式
                                               指数退火方式
                                               经典退火方式
                                               快速退火方式

模拟退火算法要把求最大值问题转换成求最小值问题
编码形式用浮点数要进行编码
设置最大扰动量，在当前解的范围找合适值

高温时粒子具有较低能量的概率是比低温下的概率高很多的


内循环的循环：
将每一温度下的循环次数设置为常数
高温少一些，低温多一些


外循环终止条件（最终温度的设置）
外循环的循环：
最终温度不需要降为0，T只要较低就行，因为差解的接受概率已经非常接近温度是0时候的概率。
系统进入稳态，合适的温度，确定的迭代次数。
 


效率问题：1.评价函数（产生差值，计算差值评价函数值和新解）---可以简化，也可以只计算差值，设计高效率，区分度要好
                  2.初始解的选取
                  3.接受概率：metropolis计算指数费时，针对特定问题，要有特定的计算方式

思考题：求无约束最值问题，与经典算法比较
              求解旅行商的问题？（tsp）
               求解10滴水问题