基于多核学习的多视图学习——半正定规划（Semi-Definite Programming, SDP）

半正定规划（Semi-Definite Programming, SDP）是一类凸优化问题，它的目标函数和约束条件都是半正定矩阵的线性函数。

SDP问题通常出现在信号处理、控制理论、组合优化、量子计算等多个领域，因为它们能够处理一些其他类型优化问题无法直接处理的复杂约束。

SDP的标准形式

一个SDP问题可以被表述为：

$$\begin{array}{rl}\min & ⟨C,X⟩\\ \text{s.t.}& ⟨A_i,X⟩=b_i,i=1,\dots ,m\\ & X⪰0,\end{array}$$

这里的符号意义如下：

• $C\in S^n$ ：是一个固定的半正定矩阵，表示目标函数中的成本矩阵。
• $X\in S^n$ ：是决策变量，即我们试图找到的半正定矩阵。
• $A_i\in S^n$ ：是第 $i$ 个线性约束的矩阵，其中 $i=1,\dots ,m$ 。
• $b_i$ ：是第 $i$ 个线性约束的标量，其中 $i=1,\dots ,m$ 。
• $S^n$ ：表示所有 $n\times n$ 实对称矩阵的集合。
• $⟨\cdot ,\cdot ⟩$ ：表示矩阵的Frobenius内积，即 $⟨A,B⟩={\sum }_{i=1}^n{\sum }_{j=1}^n{A}_{ij}{B}_{ij}$。
• $X⪰0$ ：表示 $X$ 是半正定的，这意味着对于所有的非零向量 $v$ ，有 $v^{T}Xv\ge 0$ 。

解释：

• 目标函数：$\min ⟨C,X⟩$ 意味着我们要最小化矩阵 $C$ 和决策矩阵 $X$ 之间的Frobenius内积。这个内积实际上是矩阵 $C$ 和 $X$ 元素的乘积之和。

• 线性约束：$⟨A_i,X⟩=b_i$ 表示对于每一个 $i$ ，矩阵 $A_i$ 和决策矩阵 $X$ 之间的内积必须等于给定的标量 $b_i$ 。这些是线性约束，因为它们涉及矩阵的线性组合。

• 半正定约束： $X⪰0$ 确保了决策矩阵 $X$ 是半正定的。这是SDP的关键特性，也是它名字的来源。

SDP的特点：

1. 凸性：SDP问题是凸优化问题的一种，这意味着如果存在解，那么找到的解将是全局最优解。

2. 高效求解：现代算法，如内点法，可以有效地解决大规模的SDP问题。

3. 应用广泛：SDP问题可以用来放松或近似一些NP-hard的组合优化问题，比如图着色、最大割等问题。

示例：

假设我们有一个SDP问题，其中目标函数是通过矩阵 $C$ 和决策矩阵 $X$ 的Frobenius内积给出的，而约束条件则是通过一系列矩阵 $A_i$ 和对应的标量 $b_i$ 给出的。

我们的目标是找到一个半正定矩阵 $X$ ，它最小化目标函数的同时满足所有线性约束。

在SDP问题中，矩阵的大小 $n$ 和约束的数量 $m$ 可以很大，但这并不妨碍我们使用适当的算法找到解决方案。

例如，如果我们有3个约束，我们就可以写出相应的SDP问题：

$$\begin{array}{rl}\min & ⟨\left(\begin{array}{cc}1& 0\\ 0& 1\end{array}\right),X⟩\\ \text{s.t.}& ⟨\left(\begin{array}{cc}1& 0\\ 0& 0\end{array}\right),X⟩=1\\ & ⟨\left(\begin{array}{cc}0& 1\\ 1& 0\end{array}\right),X⟩=0\\ & ⟨\left(\begin{array}{cc}0& 0\\ 0& 1\end{array}\right),X⟩=1\\ & X⪰0.\end{array}$$