最优化问题 -- 从无约束优化到不等式约束优化

最优化问题

最优化问题可以分为无约束优化问题、等式约束优化问题和不等式约束优化问题。最令人头疼的就是不等式约束问题，然而它又是最常用的。接下来将针对每一种优化问题展开讲述，逐步展开是如何从无约束的优化问题一步步演变成不等式约束问题的。

1. 无约束优化问题

- 求导
- 最速下降法
- 共轭梯度法
- 牛顿法

一般情况下， 无约束优化问题可以认为是一个函数求极值的问题，没错就是高考数学大题第二问常考的那个。写成一般式就是这个样子
$$\begin{gathered} \underset{x}{\min }f(x), \\ s.t.x\in \chi \end{gathered}$$
其中，$x\in \chi$ 称作决策变量， $f(x)\in \mathbb{R}$ 称作目标函数。使得$f(x)$ 达到极小的$x$被称为上述优化问题的解，记为$x^{\ast }$，而$f(x^{\ast })$则是该优化问题的最优值。还可以换一种写法：
$$x\in argminf(x)$$
求最优就直接套用高考数学大法——求导。

全局最优解 & 局部最优解 【不重要…】

1. 若对于任意的$x\in \mathbb{R},f(x)\ge f(x^{\ast })$，则称$x^{\ast }$为该问题的全局最优解；如果$f(x)>f(x^{\ast })$， 则称$x^{\ast }$为该问题的严格全局最优解。
2. 若对于任意的$x^{\ast }\in {\mathbb{R}}^n$，若存在$ϵ>0$，使得对于任意的$x\in {\mathbb{R}}^n$，当$||x-x^{\ast }||<ϵ$ 时，有$f(x)\ge f(x^{\ast })$，则称$x^{\ast }$为该问题的局部最优解，同理，如果$f(x)>f(x^{\ast })$，则称$x^{\ast }$为该问题的严格局部最优解

但是有时候，我们的问题会受到一点点限制。（毕竟人生哪有一帆风顺的呢 ，总得作个妖 = =），这时候问题就演变成了约束优化问题。

2. 等式约束优化问题

- 拉格朗日乘数法

一般情况下可以写成：
m i n   f ( x ) s .