全局优化算法：模拟退火算法

序言

前面讨论过一些迭代算法，包括牛顿法、梯度方法、共轭梯度方法和拟牛顿法，能够从初始点出发，产生一个迭代序列。很多时候，迭代序列只能收敛到局部极小点。因此，为了保证算法收敛到全局最小点，有时需要在全局极小点附近选择初始点。此外，这些方法需要计算目标函数。

全局优化算法又称现代启发式算法，是一种具有全局优化性能、通用性强且适合于并行处理的算法。
这种算法一般具有严密的理论依据，而不是单纯凭借专家经验，理论上可以在一定的时间内找到最优解或近似最优解。
遗传算法属于智能优化算法之一。

常用的全局优化算法有：
遗传算法 、模拟退火算法、禁忌搜索算法、粒子群算法、蚁群算法。

1、随机搜索算法

模拟退火算法是一种随机搜索算法，随机搜索方法也称作概率搜索算法，这很好理解，是一种能够在优化问题的可行集中随机采样，逐步完成搜索的算法。German首次将模拟退火算法应用在凸显处理领域。论文地址后续有时间我可以是这翻译一下。

朴素随机搜索算法步骤：

1）令K：=0，选定初始点$x^{(0)}\in \Omega$
2）从$N(x^{(k)})$中随机选定一个备选点$z^{(k)}$
3）如果$f(z^{(k)})<f(x^{(k)}),$则令$x^{(k+1)}=z_{(k)}$，否则$x^{(k+1)}=x_{(k)}。$
4）如果满足停止条件，则停止迭代
5）令k=k+1，回到第2步

算法分析：朴素随机搜索算法面临的问题在于领域 N(x(k