【算法】随机算法之模拟退火

昨天在学习OneCycleLR的时候，意外理解了模拟退火的策略。

模拟退火的本质是随机化+贪心，随机化是防止贪心陷入局部最优解的策略。

在热力学上，退火（annealing）现象指物体逐渐降温的物理现象，温度愈低，物体的能量状态会低；够低后，液体开始冷凝与结晶，在结晶状态时，系统的能量状态最低。大自然在缓慢降温（亦即，退火）时，可“找到”最低能量状态：结晶。但是，如果过程过急过快，快速降温（亦称「淬炼」，quenching）时，会导致不是最低能态的非晶形。
如果物体处于非晶体状态。我们将固体加温至充分高，再让其徐徐冷却，也就退火。加温时，固体内部粒子随温升变为无序状，内能增大，而徐徐冷却时粒子渐趋有序，在每个温度都达到平衡态，最后在常温时达到基态，内能减为最小（此时物体以晶体形态呈现）。

我在文档中这样写道：

而“模拟退火”的策略是指在模型训练的早期阶段，模型选择较大学习率，使得模型更快的逼近全局最优状态；而在训练后期，则换成小学习率以逐渐收敛至全局最优状态；但是并不始终保持学习率一直减小，而是周期性的提高学习率，以在模型陷入局部最优解的时候，学习率会向较高的学习率振荡以跳出鞍点。传统学习率调度器正是参考了模拟退火策略，选取base_lr和max_lr，让学习率lr在base_lr和max_lr之间周期性增加和减小，一次迭代（cycle）包含两个步长（step_size），经过每次步长学习率lr会通过衰减函数scale_fn更新一次，以此有效的加快收敛并提高准确率。

模拟退火算法的思想：

算法实质分两层循环，在任一温度水平下，随机扰动产生新解，并计算目标函数值的变化，决定是否被接受。由于算法初始温度比较高，这样，使内能增大的新解在初始时也可能被接受，因而能跳出局部极小值，然后通过缓慢地降低温度，算法就最终可能收敛到全局最优解

参考资料：
模拟退火算法详解
模拟退火总结（模拟退火）
模拟退火算法