序言
前面讨论过一些迭代算法,包括牛顿法、梯度方法、共轭梯度方法和拟牛顿法,能够从初始点出发,产生一个迭代序列。很多时候,迭代序列只能收敛到局部极小点。因此,为了保证算法收敛到全局最小点,有时需要在全局极小点附近选择初始点。此外,这些方法需要计算目标函数。
全局优化算法又称现代启发式算法,是一种具有全局优化性能、通用性强且适合于并行处理的算法。
这种算法一般具有严密的理论依据,而不是单纯凭借专家经验,理论上可以在一定的时间内找到最优解或近似最优解。
遗传算法属于智能优化算法之一。
常用的全局优化算法有:
遗传算法 、模拟退火算法、禁忌搜索算法、粒子群算法、蚁群算法。
1、随机搜索算法
模拟退火算法是一种随机搜索算法,随机搜索方法也称作概率搜索算法,这很好理解,是一种能够在优化问题的可行集中随机采样,逐步完成搜索的算法。German首次将模拟退火算法应用在凸显处理领域。论文地址后续有时间我可以是这翻译一下。
朴素随机搜索算法步骤:
1)令K:=0,选定初始点 x(0)∈Ω
2)从 N(x(k)) 中随机选定一个备选点 z(k)
3)如果 f(z(k))<f(x(k)), 则令 x(k+1)=z(k) ,否则 x(k+1)=x(k)。
4)如果满足停止条件,则停止迭代
5)令k=k+1,回到第2步
算法分析:朴素随机搜索算法面临的问题在于领域 N(x(k