欢迎使用CSDN-markdown编辑器

最优化复习要点

1. 线性规划

a. 标准形式

i. 必要时需要引入松弛变量

$$\mathbf{min}\ \ z = \mathbf{c^T x}\\ \mathbf{s.t.} \ Ax=b\\ \ \ \ \ \ x \geqslant 0$$

ii. 退化

$\mathbf B^{-1} b > 0$ 基变量的取值全为正（右边系数全正）

b. 单纯形法

i. 典式

ii. 单纯形表

初始基可行解

​ 初始单纯形表：

• 约束条件和右边 不变
• 目标函数系数取反 $-c$

非基变量入基(选取最合适的$x_k$)

​ 遵循两个原则：最大、最小

• 最大：即单纯形表最后一行，$\max {z_j - c_j}$
• 最小：最大对应的列，$\min \frac{\bar b}{y_{ik}}$ （必须是正数！！！）

初等行变换

iii. 大M法

2个重点

• 添加松弛变量后再引入人工变量

• 单纯形表最后一行： $\mathbf{c}_B B^{-1} p_j - c_j$

  式中 $\mathbf{c_B}$ 为初始基变量对应系数，一般含M

  注意 ：最后一个数不是0！！！

c. 对偶原理

• 要先化成GLP一般形式

原问题min	对偶问题max
目标函数系数	右端系数
右端系数	目标函数系数
约束矩阵	系数矩阵转置
第$i$个约束为$\geqslant$ 型	第$i$个变量$\geqslant 0$
第$i$个约束为$=$型	第$i$个变量无约束
第$j$个变量$\geqslant 0$	第$j$个约束为$\leqslant$型
第$j$个变量无约束	第$j$个约束为$=$型

* 互补松弛性质

$$(A_{21} \bar x_1 + A_{22} \bar x_2 - b_2)_i \bar w_{2i} = 0, \quad \forall i, \quad \bar x_{1j}(c_1-A_{11}^T \bar w_1 - A_{21}^T \bar w_2)_j = 0, \quad \forall j$$
利用互补松弛条件验证是否是最优解：

• 假设是最优解，利用性质获得DGLP满足互补条件的解并验证是否可行，若可行，则为最优解

2. 无约束问题

a. 最优性条件

一阶导（梯度）$\nabla f(x^{k}) = 0$ ；

二阶导（Hessian）$\nabla^2 f(x^{(k)})$ 正定。

b. 下降算法

i. 最速下降法

ii. 牛顿法

（二级收敛、二次终止性）

• 已知迭代点$x^{(k)}$
• 求初始梯度、Hessian矩阵，并求$\nabla^2 f(x^{(k)})^{-1}$
• 计算$x^{(k+1)} = x^{(k)} - \nabla^2 f(x^{(k)})^{-1} \cdot \nabla f(x^{(k)})$

iii. 阻尼Newton法

iv. 共轭梯度法

v. 拟Newton法（变尺度法/秩 $2$ 矫正/DFP算法）

• 拟牛顿条件

  $p^{(k)} = H_{k+1} q^{(k)}$

  式中：

  • $\mathbf{p}^{(k)} = x^{(k+1)} - x^{(k)}$ , $\mathbf{q}^{(k)} = \nabla f(x^{(k+1)} - \nabla f(x^{(k)}))$
  • $\mathbf{H}_{k+1} \approx \nabla^2 f(x^{(k)})^{-1}$

  • DFP算法——秩 $2$ 矫正

    • 迭代初点$x^{(k)}$

    • 计算梯度$\mathbf{g}_k = \nabla f(x^{(k)})$ ，置$\mathbf{H}_1 = \mathbf{I}_n$ (单位矩阵)

    • 选取可行下降方向 $\mathbf{d}^{(k)} = -\mathbf{H}_k \mathbf{g}_k$

    • 求步长 $\lambda_k$

    • 令 $x^{(k+1)} = x^{(k)} + \lambda_k \mathbf{d}^{(k)}$

      • 最优步长：$\lambda_k = -\frac{\nabla f(x^k)^\mathrm{T} \mathbf{d}}{\mathbf{d}^{k\mathrm{T}} \nabla^2 f(x^k) \mathbf{d}^k}$ (一般情况为二次函数，$\mathbf{H} = \nabla ^2 f(x)$ 是固定的，只需要计算一次即可)

      • 可接受步长：$$

      • 检验重复

    3. 约束非线性规划

    a. 可行下降法

    • 初始点$x^{k}$

    • 计算$\nabla f(x^k)$ ，分解起作用约束与非其作用约束
      

      $$\begin{bmatrix}A_1 \\ A_2 \end{bmatrix} \quad \rm{and} \quad \begin{bmatrix} b_1 \\ b_2 \end{bmatrix}$$

    • 求解最优步长$d^k$ (判断？)
      

      $$\min \quad \nabla f(x^k)^T d^k \\ s.t. \quad A_1 d^k \geqslant 0 \\ \quad \quad \qquad -1 \leqslant d_j \leqslant 1$$
      计算$\hat d = A_2d^k$ ，$\hat b = b_2 - A_2 x^k$

      $\lambda_{max} = \min \{\frac{\hat b_i}{\hat d_i}\}$ or $\infty$ $\quad$如果$f(x)$是严格凸二次函数，最优步长$\lambda_k = \min \left\{ -\frac{z_k}{(d^k)^THd^k}\ ,\ \lambda_{max}\right\}$

      计算$\lambda_k$ (带进$f(x^k + \lambda_k d^k)$ 直接计算，一般都是二次函数)

    • 迭代得$x^{k+1}$