《最优化理论与方法》复习内容要求与例题（补充中）

一、最优化理论相关概念和实际建模

1.最优化问题及其分类，最优解的相关概念，最优化问题的算法的一般迭代格式及其收敛性和停止准则。

1.1 最优化问题是数学和计算科学中的一个重要领域，它涉及在给定约束条件下找到使某个目标函数最优化的变量值。
1.2 最优化问题的分类：
目标函数类型：根据目标函数是线性还是非线性，问题可以分为线性优化和非线性优化。
约束条件：问题可以分为有约束和无约束优化问题。有约束问题包括等式约束和不等式约束。
决策变量类型：根据决策变量是连续还是离散的，可以将问题分类为连续和整数优化问题。
最优解类型：问题可以分为单目标和多目标优化问题，其中多目标问题涉及多个相互竞争的目标函数。
优化问题类型：根据目标函数的性质，可以分为凸优化和非凸优化问题。凸优化问题通常具有全局最优解，而非凸问题可能有多个局部最优解。
1.3 最优解的相关概念：
最优解：最优解是指在满足给定约束条件的情况下，使目标函数值最小（或最大）的变量值。最优解可以是全局最优解（在整个搜索空间中最好的解决方案）或局部最优解（在某个局部区域内最好的解决方案）。
可行解：可行解是满足约束条件的解决方案，但不一定是最优解。
梯度:$g=\nabla f(x)$,对应基本问题的一阶导数。
Hesse矩阵：$G={\nabla }^{2}f(x)$,对应于基本问题中的二阶导数。

1.4 一般的最优化算法迭代格式如下：
初始化：选择初始变量值。
迭代：重复以下步骤，直到满足停止准则：
计算目标函数的梯度或其他必要的信息。
更新变量值以降低目标函数值。
停止：满足停止准则，如目标函数值收敛到足够小的值或达到最大迭代次数。
1.5 收敛性和停止准则：
收敛性是指算法是否能够找到最优解或接近最优解。停止准则用于确定何时停止迭代，通常包括以下条件之一：
目标函数值不再显著改变（例如，小于某个容差）。
变量值不再显著改变。
达到最大迭代次数。
满足特定的约束条件。

2.建立一个实际最优化问题的数学模型的思想和方法，包括线性规划、非线性规划、动态规划及多目标规划模型。

二、线性规划

1.标准形式

$$\begin{array}{rl}min\sum _{j=1}^n{c}_j{x}_j& \\ s.t\sum _{j=1}^n{a}_{ij}{x}_j=b_i,& i=1,2,...,m\\ x_j\ge 0,& j=1,2,...,n\end{array}$$
或者使用矩阵表示
$$\begin{array}{r}min\mathbf{cx}\\ s.t\mathbf{AX}=\mathbf{b}\\ \mathbf{x}\ge 0\end{array}$$
当问题不是标准形式时，需要先化成标准形式再求解。

2.基本定理

定理1：线性规划的可行域是凸集。
定理2：设线性规划（矩阵形式表示）的可行域非空，则有以下结论：
（1）：线性规划存在有限最优解的充分必要条件是所有${\mathbf{cd}}^{(j)}$为非负数，其中${\mathbf{d}}^{(j)}$是可行域的极方向。
（2）：若线性规划存在有限最有解，则目标函数的最优解在某个极点上达到。
定理3：令 K = { x ∣ A x = b , x ≥ 0 } K= \mathbf{\{x|Ax=b,x\ge0\}} K={x∣Ax=b,x≥0},$A$是$m\times n$矩阵，$A$的秩是$m$，则$K$的极点集是与$\mathbf{Ax}=\mathbf{b},\mathbf{x}\ge 0$的基本可行解集等价。
定理4：如果$\mathbf{Ax}=\mathbf{b},\mathbf{x}\ge 0$有可行解，则一定存在基本可行解，其中$A$是$m\times n$矩阵，$A$的秩是$m$。

3.解的概念

4.线性规划的三种解法

4.1 单纯形法

原理：


例题1：

例题2：

4.2 两阶段法

4.2 大M法