20190602——最优化理论基础

所谓最优化方法，就是求一个多元函数在某个给定集合上的极值。

min f(x)
s.t. x属于K
K是某个给定的集合（称为可行集或者是可行域）f(x)是定义在集合K上的实值函数，此外，在模型中，x通常称为决策变量，s.t. 是subject to 的缩写

人们按照可行集的性质对最优化问题，进行一个大致的分类
线性规划和非线性规划 可行集是有限维空间的一个子集
组合优化或网络规划 可行集中的元素是有限的
动态规划 可行集是一个依赖时间的决策序列
最优控制 可行集是无穷维空间的中的一个连续子集

精确线搜索分为两类，一类是使用导数的搜索法，如牛顿法、插值法及抛物线法；另一类是不用导数的搜索，如0.618法，分数法及成功-失败方法

---

---

黄金分割法

黄金分割法也称为0.618法，其基本思想是通过试探点函数值的比较，使得包含极小点的搜索区间不断缩小，该方法仅需要计算函数值，适用范围广，使用方便，

φ(s) = f(xk + sdk),

此函数是搜索区间[a0,b0]上的单峰函数，在第i次迭代之后，区间为[ai,bi]，取两个试探点pi,qi属于[ai,bi] 且pi<qi 那么计算这个函数的pi和qi的值，