《Algorithms for Optimization》第一章笔记

本书从工程角度关注优化，其目标是设计一个系统，使一组受约束的指标得到优化。

01 优化的过程

1-1 优化的流程

优化设计的一般流程如图1所示，在优化设计中设计者要做的事包括：1）提供一个问题规范，明确定义优化的设计变量、优化目标和约束等；2）负责构思问题并量化潜在设计的优点；3）为优化设计提供基准设计；4）分析优化设计的结果，以确保其对最终应用的适用性。

图1 优化设计的一般流程

可能导致优化失败的原因：1）优化问题的不当定义。定义优化问题的方式可以使问题的求解变得更简单或更复杂；2）糟糕的基准设计输入；3）优化过程出错；4）不合适的优化算法。

工程师的工程经验通常对二维和三维问题比较有效，而现代优化技术可以处理具有数百万变量和约束的问题，这是优化设计的优势所在。

02 单变量函数的关键点

单变量函数某点导数为0是此点是局部极小值的必要不充分条件。
函数的拐点是二阶导变号的点，对应的着函数导数值的局部最小值或最大值，注意拐点处的导数不一定为0。

图2 单变量函数的关键点

03 函数局部极小值的条件

3-1 单变量函数

• 单变量函数强局部最小值的充分条件
  $$\begin{array}{rl}& f^{\prime }(x^{\ast })=0\\ & f^{\prime \prime }(x^{\ast })>0\end{array}\text{\hspace{1em}(1)}$$
• 单变量函数局部最小值的必要条件
  $$\begin{array}{rl}& 一阶必要条件（FONC）：f^{\prime }(x^{\ast })=0\\ & 二阶必要条件（SONC）：f^{\prime \prime }(x^{\ast })\ge 0\end{array}\text{\hspace{1em}(2)}$$
  

图3 单变量函数局部最小值 的必要条件图示

3-2 多变量函数

• $\vec{\mathbf{x}}$ 是多变量函数局部最小值的充分条件：
  $$\begin{array}{rl}& 一阶必要条件（FONC）：\nabla f(\mathbf{x})=0\\ & 二阶必要条件（SONC）：{\nabla }^{2}f(x^{\ast })>0(Hessian矩阵正定)\end{array}\text{\hspace{1em}(3)}$$
• $\vec{\mathbf{x}}$ 是多变量函数局部最小值的必要条件：
  $$\begin{array}{rl}& 一阶必要条件（FONC）：\nabla f(\mathbf{x})=0\\ & 二阶必要条件（SONC）：{\nabla }^{2}f(x^{\ast })\ge 0(Hessian矩阵半正定)\end{array}\text{\hspace{1em}(3)}$$
  

图4 多变量函数局部最小值 的必要条件图示

参考文献

[1] Kochenderfer M J, Wheeler T A. Algorithms for optimization[M]. Mit Press, 2019.