[Introduction to AI] Simulated Annealing（模拟退火）

本文为 BJUT 2021 Fall Introduction to AI 的读书笔记；
课程教材为：Artificial Intelligence: A Modern Approach；

Cover: Photo by Ant Rozetsky on Unsplash

Simulated Annealing

模拟退火

#school_notes #algorithm/search

Introduction

• note: In Hill Climbing, we were taking the ascending problems as examples but in this topic we will think about gradient descent problems.

Hill Climbing (original) 存在的最大问题就是不能 handle trapped in local minima/ridge/plateau 的问题。使用 Hill Climbing 算法就像是在平滑的地形曲线上，使小球没有初速读的滚动。这样一来，小球很有可能停止在局部最值位置。

而 Simulated Annealing 更像是在小球滚动的同时发生了激烈的地震（摇晃曲线）, 小球是在地形上跳跃的，有一定的几率 bounce out of local minima。但同时，我们也需要注意，不能一直施加非常大的震荡力量，否则很可能使小球 dislodged （被震出） from the global optimum.

Simulated Annealing 是模仿在金属、玻璃回火/硬化（harden）时的一种手段，即先加热材料至高温，随后再将其缓慢降温。在算法中的体现即为，在温度很高的时候（开始时间很短的时候）有很大的几率选择非下降方向的 state 作为 next state，而这个几率会随着温度的降低（开始时间的延长）而降低。

See Also

[[Informed Search and Local Search]]