2.1 无约束优化
- 一个问题可以写成最小化问题也可以写成最大化问题。两者可以互相转化:
- 当想要最小化一个函数时称为费用,最大化一个函数时称为适应度。
局部最小值:
全局最小值:
2.2 约束优化
实际的优化问题总带约束,在实际优化问题中,使目标函数最优的独立变量的值也几乎总是出现在约束的边界上。
2.3 多目标优化
2.4 多峰优化
多峰优化问题是指问题有不止一个局部最小值。
例
结果
2.5 组合优化
优化问题中的独立变量只能在一个离散集合上取值。
在进化算法中,潜在的解会互相分享信息最终达到关于最好的解的“共识”.
2.6 爬山法
如果想到达一个景观的最高点,一个合理策略就是朝上升最快的方向迈一步,在那一步之后,重新评估小山的斜坡,并重新朝上升最快的方向迈进一步,继续这个过程直到不再有爬得最高的方向,此时到达的这个点就是小山的顶点,这称为爬山法。
最快上升爬山法
依次上升爬山法
随机变异爬山法
自适应爬山法
有偏优化算法:首先,很多基准费用函数在其搜索域的中央附件有最小值。其次,很多优化算法都偏向搜索域的中央。
用于性能分析的多次仿真通常被称为蒙特卡罗仿真。
2.7 智能
智能的特性如下特性:
- 自适应
- 随机性
- 交流
- 反馈
- 探索与开发