半二次优化（Half-Quadratic Optimization）

半二次优化（Half-Quadratic Optimization）

半二次优化（HQ）是一种用于优化问题的技巧，特别是当目标函数包含非凸或难以处理的项时。

这种方法通过将原问题分解为一系列更简单的子问题来求解，每个子问题通常是一个二次优化问题，可以更轻松地解决。

半二次优化常用于图像处理、信号处理和机器学习中的变分问题，尤其是在处理包含绝对值、对数或指数等复杂函数的优化问题时。

原理

半二次优化的核心思想是引入辅助变量和相应的约束，将原本难以直接优化的非凸函数转换为一系列更简单的二次优化问题。

这种方法通过交替优化原变量和辅助变量来间接逼近原问题的解，而每个子问题都是二次的，因此可以直接求解。

基本步骤

1. 引入辅助变量：假设原始优化问题的形式为 ${\min }_{x}f(x)$，其中$f(x)$可能是非二次的或非凸的。在半二次优化中，我们引入一个辅助变量$y$，并添加一个与之相关的二次项，以构造一个新的目标函数$\tilde{f}(x,y)$。

2. 交替优化：接下来，优化过程交替地更新$x$和$y$。首先，给定$y$的当前值，求解${\min }_x\tilde{f}(x,y)$；然后，给定$x$的新值，求解${\min }_y\tilde{f}(x,y)$。重复这个过程直到收敛。

3. 收敛性：虽然每个子问题是二次的，但整体过程的收敛性取决于原问题的性质。在实践中，半二次优化通常能够收敛到原问题的一个局部最优解。

示例：基于Schatten p-范数和相关熵的鲁棒低秩核子空间聚类方法

在基于Schatten p-范数和相关熵的鲁棒低秩核子空间聚类方法中，半二次优化被用于求解包含非凸Schatten p-范数正则化的优化问题。具体地，考虑以下优化问题：

$$\underset{B,Z,E}{\min }\parallel B{\parallel }_{w,Sp}^p+{\lambda }_1\parallel Z{\parallel }_1+{\lambda }_2\frac{1}{2}\text{tr}[(I-2Z+Z{Z}^{\top })B^{\top }B]+{\lambda }_3\sum _{i,j}\varphi (E_{ij})$$

其中，

• $\parallel B{\parallel }_{w,Sp}^p$ 是加权Schatten p-范数，用于逼近数据的秩。
• $\varphi (E_{ij})=1-\exp \left(-\frac{E_{ij}^2}{2{\sigma }^2}\right)$ 是相关熵，用于度量误差并提高模型的鲁棒性。
• ${\lambda }_1,{\lambda }_2,{\lambda }_3$ 是正则化参数，用于平衡各项的重要性。

为了求解上述问题，我们可以使用半二次优化来将非凸的Schatten p-范数正则化项转换为一系列更简单的二次子问题。

公式解析

1. 加权Schatten p-范数：$\parallel B{\parallel }_{w,Sp}^p$ 是矩阵$B$的Schatten p-范数的加权版本，用于逼近矩阵的秩。在优化过程中，我们可能需要求解形如${\min }_B\parallel B{\parallel }_{w,Sp}^p$的子问题。

2. 相关熵：$\varphi (E_{ij})$ 作为误差项的度量，可以有效抑制大尺度噪声对子空间聚类的影响。在优化过程中，我们可能需要求解形如${\min }_E{\sum }_{i,j}\varphi (E_{ij})$的子问题。

3. 交替优化：在每次迭代中，我们先固定$Z$和$E$，求解${\min }_B\parallel B{\parallel }_{w,Sp}^p$；然后固定$B$和$E$，求解${\min }_Z\parallel Z{\parallel }_1$；最后固定$B$和$Z$，求解${\min }_E{\sum }_{i,j}\varphi (E_{ij})$。通过这种方式，我们可以将原问题分解为一系列更简单的子问题，每个子问题都可以通过直接求解二次优化问题来解决。

作用

• 简化优化问题：通过半二次优化，原本非凸或复杂的优化问题被转换为一系列更简单的二次子问题，这些子问题可以直接求解，从而简化了优化过程。
• 提高计算效率：每个子问题的求解通常比原问题的直接求解更快，这有助于提高整体优化过程的计算效率。
• 增加鲁棒性：通过使用相关熵作为误差度量，半二次优化可以帮助模型更好地抵抗大尺度噪声，提高鲁棒性。

总结

半二次优化是一种有效的优化技巧，通过引入辅助变量和交替优化过程，将复杂的非凸优化问题转换为一系列更简单的二次优化子问题。

在子空间聚类和许多其他领域，半二次优化提供了一种实用的解决方案，可以有效地处理非线性结构和非高斯噪声，提高模型的鲁棒性和准确性。