优化方法-序

数学上有一个原则：把复杂问题转换为简单问题。

例如，约束优化通过拉格朗日形式转换成无约束优化问题。将非线性问题通过近似和残差约束转换为线型问题。

无约束优化问题是优化领域研究的基础性问题，基础性方法，如最速下降法，牛顿法，共轭梯度法，是其他复杂方法的基础。所以掌握上述经典的思想对于理解新方法大有裨益。

优化问题可以表示如下：
$$\{\begin{array}{l}minf(x)\\ \\ s.t.x\in \Omega \end{array}$$

Ω为某个指定的集合，称为可行集或可行域，f(x)为定义在集合Ω上的连续可微的多元实值函数。
其中
Ω = { x ∈ R n ∣ c i ( x ) = 0 , i ∈ ξ ; c i ( x ) ≥ 0 , i ∈ ζ } ， \\ \Omega = \{ x \in R^n | c_i(x) = 0,i \in \xi ; c_i(x)\ge 0,i \in \zeta\}， Ω={x∈Rn∣ci​(x)=0,i∈ξ;ci​(x)≥0,i∈ζ}，
当ζ与ξ是空集的时候，以上问题就是无约束优化问题。

参考博客：
https://blog.csdn.net/qq_36935593/article/details/79026402
https://blog.csdn.net/hanlin_tan/article/details/47376237