10、凸优化中的强对偶性与内点法

凸优化中的强对偶性与内点法

1. 强对偶性

1.1 凸优化问题回顾

在凸优化领域，我们已经研究了多种类型的问题，如线性规划（LP）、最小二乘法、二次规划（QP）、二阶锥规划（SOCP）和半定规划（SDP）。此外，还有一类凸优化问题——锥规划（CP），不过由于其需要大量的数学概念、定义和技术，且应用较少，我们将重点研究通用的算法，这些算法可应用于一般的QP、SOCP和SDP问题。这些算法基于强对偶性和KKT条件。

1.2 原问题与对偶问题

1.2.1 原问题

凸优化的标准形式为：
[
\begin{align }
\min\ f(x) &: f_i(x) \leq 0, i \in {1, \ldots, m}\
Ax - b &= 0
\end{align }
]
其中，(f(x)) 和 (f_i(x)) 是凸函数，(A \in R^{p\times d}) 且 (p < d)。不失一般性，假设 (rank(A) = p)，否则可移除 (A) 中的相关行使其满秩。上述问题即为原问题。

1.2.2 拉格朗日函数

为了定义对偶问题，我们需要引入拉格朗日函数 (L(x, \lambda, \nu))，它有三个参数：
- (x)：感兴趣的优化变量。
- (\lambda)：大小为 (m) 的实值向量，与不等式约束的数量一致，(\lambda := [\lambda_1, \ldots, \lambda_m]^T)。
- (\nu)：大小为 (p) 的实