凸优化理论学习八|几何问题

最新推荐文章于 2024-10-17 00:11:09 发布

丁希希哇

最新推荐文章于 2024-10-17 00:11:09 发布

阅读量1.9k

点赞数 29

分类专栏：统计相关理论文章标签：学习凸优化

本文链接：https://blog.csdn.net/weixin_47748259/article/details/139041810

版权

统计相关理论专栏收录该内容

17 篇文章

订阅专栏

系列文章目录

文章目录

系列文章目录
一、极值椭球体
二、中心
三、分类
四、布局和设施位置

一、极值椭球体

（一）最小体积椭球包络问题

寻找一组点集的最小体积椭球是计算几何和优化领域中一个常见的数学问题，通常被称为最小体积椭球包络问题，可以通过凸优化来解决。

假设我们有一个有限点集 ${x_1, x_2, \ldots, x_m}$ ，我们的目标是找到一个最小体积的椭球，使得这个点集 $C$ 包含在这个椭球内部（即Löwner-John椭球）。

这个椭球参数化为 $\{v \mid \lVert Av + b \rVert_2 \leq 1\}$
$A$ 是一个对称正定矩阵， $b$ 是一个向量

为了解决这个问题，我们可以将其转化为一个凸优化问题：

目标函数：最小化 $F(A, b) = \log \det A^{-1}$
约束条件： $\lVert Av + b \rVert_2 \leq 1,\ i=1,...,m$

（二）内接椭球最大体积问题

内接椭球最大体积问题是一个经典的几何优化问题，通常被称为"最大体积内接椭球问题"。给定一个凸体 $C$ （如多面体或凸集），我们的目标是找到包含在该凸体内部的最大体积椭球。

这个椭球参数化为 $\{Bu+d|\ \Vert u\Vert_2\leq 1\}$
$B$ 是一个对称正定矩阵， $d$ 是一个向量。
椭球的体积与 $B$ 的行列式成正比。

为了解决这个问题，我们可以将其转化为一个凸优化问题：

目标函数：最大化 $\log \det B$
约束条件： $\lVert Ba_i \rVert_2 +a_i^Td\leq b_i,\ i=1,...,m$

如果 $C$ 是一个多面体，可以通过一系列线性不等式来描述，比如 ${a_i^T x \leq b_i}$ ，那么约束条件可以被表示为 $\lVert B a_i \rVert_2 + a_i^T d \leq b_i$ ，其中 $a_i$ 和 $b_i$ 是多面体描述中的常数向量。这个约束条件来自于对所有顶点 $x$ 满足 $a_i^T x \leq b_i$ 的条件取最大值，等效于 $\sup_{\lVert u \rVert_2 \leq 1} a_i^T (Bu + d) = \lVert B a_i \rVert_2 + a_i^T d$ 。

（三）椭球近似的效率

椭圆形近似方法在处理具有非空内部的凸有界集合时提供了精确性和计算效率之间的平衡。两种常用的椭圆形近似是 Löwner-John 椭圆和最大体积内切椭圆。

Löwner-John 椭圆：这个椭圆代表着包含凸集 $C$ 的最小体积椭圆。通过将这个椭圆以其中心为中心收缩一个因子 $n$ ，确保了缩小后的椭圆仍完全位于 $C$ 内部。这保证了紧密拟合同时最小化体积。
最大体积内切椭圆：这个椭圆代表着完全位于 $C$ 内部的最大体积椭圆。通过将这个椭圆以其中心为中心扩展一个因子 $n$ ，确保了扩展后的椭圆完全覆盖了 $C$ 。这保证了对集合的全面覆盖。

在这里插入图片描述
如果集合 $C$ 是对称的，那么可以将因子 $n$ 改进为 $\sqrt n$ 。这是因为对称性使得椭圆的边界更对称，因此在适当的方向上扩展或收缩椭圆时，相对于非对称情况，我们可以更有效地利用空间。这种改进可以提高椭圆近似的效率，并且在保持准确性的同时减少了计算成本。

扩张或收缩因子的作用是指导我们如何理解椭圆近似的适用性。较小的扩张因子或较大的收缩因子通常意味着更好的近似，因为它们表示内部椭圆和外部椭圆之间更接近的大小关系。

二、中心

（一）凸集的中心概念

"中心"的概念在处理凸集合 $C$ 时有许多可能的定义。其中两种常见的定义是：

切比雪夫中心
- 最大内切球的中心
- 对于多面体而言，可以通过线性规划来找到切比雪夫中心
最大体积内切椭球体的中心
- 这个中心具有一个重要的特性，即它在仿射坐标变换下保持不变

在这里插入图片描述

（二）一组不等式的解析中心

凸不等式 $f_i(x) \leq 0,\ i=1,...,m$ 和线性方程组 $F x = g$ 的解析中心被定义为以下问题的解：

目标函数：最小化 $\sum_{i=1}^{m} \log(-f_i(x))$
约束条件： $F x = g$

这个目标函数被称为不等式的对数障碍函数。它的作用是通过惩罚违反不等式约束来寻找在约束集内部的点，其中对于任何违反不等式约束的点，其目标函数值会趋于无穷大，因此最小化该目标函数将导致寻找在不等式约束下尽可能远离违规区域的点。

与最大体积内接椭圆（MVE）或切比雪夫中心相比，解析中心通常更容易计算。这是因为解析中心的计算通常涉及求解非线性优化问题，而对于凸问题，这样的问题通常具有良好的解。另外，需要注意的是，两组不等式可能描述相同的集合，但其解析中心可能是不同的，这取决于不等式约束的具体形式和约束集合的几何性质。

（三）线性不等式的解析中心

线性不等式的解析中心可以通过求解以下优化问题得到：

目标函数：最小化 $\sum_{i=1}^{m} \log(b_i-a_i^Tx)$
约束条件： $a_i^Tx\leq b_i,i=1,2,...,m$

解析中心 $x_{ac}$ 是满足上述优化问题的解。在图形上，解析中心通常位于对数障碍函数 $Φ (x)$ 的等高线的交汇处，这些等高线是虚线表示的。解析中心在凸多边形内部，其位置对应于在所有不等式约束下尽可能均匀地远离约束边界的点
在这里插入图片描述

（四）根据解析中心构造内部和外部椭圆形

$E_{inner}⊆\{x|a_i^Tx\leq b_i,i=1,...,m\}⊆E_{outer}$

内部椭圆 $E_{inner}$ ：内部椭圆是以解析中心 $x_{ac}$ 为中心，根据二阶梯度 $\Delta^2\Phi(x_{ac})$ 构造的椭圆。它的半径是对应于二阶梯度的特征向量的长度的倒数，这确保了椭圆完全包含在所有线性不等式约束集合内部。
$E_{inner}=\{x|(x-x_{ac})^T\Delta^2\Phi(x_{ac})(x-x_{ac})\leq 1\}$
外部椭圆 $E_{outer}$ ：外部椭圆也以解析中心 $x_{ac}$ 为中心构造，但其半径更大。它的半径是对应于二阶梯度的特征向量的长度的倒数乘以 $m (m - 1)$ 的平方根。这确保了椭圆完全覆盖了所有线性不等式约束集合的区域，并提供了一定的余量。
$E_{outer}=\{x|(x-x_{ac})^T\Delta^2\Phi(x_{ac})(x-x_{ac})\leq m(m-1)\}$
椭圆的扩张/收缩因子为 $\sqrt{m(m-1)}$ ，这是由于该因子考虑了约束数量 $m$ 和椭圆内部的自由度。与Löwner-John 或最大体积内接椭圆的扩张/收缩因子 $n$ 不同，这里的因子更多地考虑了线性约束的数量和结构。

三、分类

（一）线性判别

将两组点 ${x_1,..., x_N\}$ , ${y_1,..., y_M\}$ 通过一个超平面分开，可以理解为寻找一个法向量 $a\in R^n$ 和一个偏移量 $b\in R$ ，使得对于第一组点，有 $a^Tx_i+b>0$ ，对于第二组点，有 $a^Tx_i+b<0$ 。

由于超平面的齐次性质，可以等价地表示为：

$a^Tx_i+b\geq1,i=1,...,N$
$a^Tx_i+b\leq-1,i=1,...,M$

这组线性不等式形成了一个线性规划的可行性问题。我们需要找到一个满足这些不等式的向量 a 和标量 b，使得两组点被分开。这通常可以通过线性规划求解器来解决。
在这里插入图片描述

（二）鲁棒的线性判别

超平面 $H_1=\{z|a^Tz+b=1\}$ 和 $H_2=\{z|a^Tz+b=-1\}$ 之间的（欧几里得）距离为 $dist(H_1,H_2)=2/\Vert a\Vert_2$

以最大间隔分隔两组点：

目标函数：最小化 $(1/2)\Vert a\Vert_2^2$
约束条件：
- $a^Tx_i+b\geq 1,i=1,...,N$
- $a^Ty_i+b\leq -1,\ i=1,...,M$

（三）不可分离集合的近似线性分离

当两组点不可线性分离时，我们可以采用一种近似线性分离的方法，通过最小化违反原始不等式的总和来找到一个最优超平面。这个问题可以表述为一个线性规划问题。

目标函数：最小化 $1^Tu+1^Tv$
约束条件：
- $a^Tx_i+b\geq 1-u_i,i=1,...,N$
- $a^Tx_i+b\leq -1+v_i,i=1,...,M$
- $u\geq 0,v\geq 0$

最优状态下， $u_i = max\{0, 1 − a^T x_i − b\}$ , $v_i = max\{0, 1 + a^T y_i + b\}$ ，相当于最小化原始不等式的违反总和。

在这里插入图片描述

（四）支持向量分类器

支持向量分类器（Support Vector Classifier, SVC）通过在优化间隔和分类误差之间找到一个平衡点，来实现对数据点的分类。SVC的目标是找到一个超平面，使得数据点尽可能被正确分类，并且分类间隔尽可能大。分类误差通过松弛变量来度量。

目标函数：最小化 $\Vert a\Vert_2+\gamma(1^Tu+1^Tv)$
约束条件：
- $a^Tx_i+b\geq 1-u_i,i=1,...,N$
- $a^Tx_i+b\leq -1+v_i,i=1,...,M$
- $u\geq 0,v\geq 0$

优化目标函数由两部分组成：第一部分 $\Vert a\Vert_2$ 表示分类超平面的间隔的倒数，最小化 $\Vert a\Vert_2$ 意味着最大化分类间隔；第二部分 $\gamma(1^Tu+1^Tv)$ 表示分类误差的总和，松弛变量 $u_i$ 和 $v_i$ 分别表示第 $i$ 个正类点和负类点的违反程度。最小化这部分意味着减少分类错误。
约束条件确保：正类点 $x_i$ 被正确分类，允许一定的违反程度 $u_i$ ；负类点 $y_i$ 被正确分类，允许一定的违反程度 $v_i$ ；

在这里插入图片描述

支持向量分类器的这个优化问题可以通过二次规划（Quadratic Programming, QP）求解器来解决。

（五）非线性判别

为了进行非线性判别，可以将两组点 ${x_1,..., x_N\}$ , ${y_1,..., y_M\}$ 通过一个非线性函数 f 分开，使得对于第一组点，有 $f(x_i)>0,i=1,...,N$ ，对于第二组点，有 $f(x_i)<0,i=1,...,M$ 。

我们可以选择一组线性参数化的函数族来表示非线性函数 $f$ ：
$f(z)=\theta^TF(z)$
通过这种参数化形式，非线性判别问题可以转化为一个关于参数向量 $θ$ 的线性不等式系统：
$\theta^TF(x_i)\geq 1,i=1,...,N;\\\theta^TF(y_i)\leq -1,i=1,...,M$
这些不等式表示在新的高维空间中，我们希望找到一个超平面，使得经过基函数变换后的点 $F(x_i)$ 和 $F(y_i)$ 分别位于超平面的不同侧。

通过选择适当的基函数 $F$ 和参数向量 $θ$ ，可以将非线性判别问题转化为线性不等式系统，并通过线性规划或二次规划求解，从而实现对非线性可分数据的分类。二次判别和多项式判别是两种常见的方法，它们通过不同形式的非线性函数来分离数据点：

二次判别：考虑二次函数 $f(z)=z^TPz+q^Tz+r$ ，将参数 $\theta$ 定义为 $(P, q, r)$ ，优化问题就可以表示为：
- 求解 $P\in S^n,q\in R^n,r\in R$
- 使得 $x_i^TPx_i+q^Tx_i+r\geq 1,i=1,...,N$ ； $y_i^TPy_i+q^Ty_i+r\leq -1,i=1,...,M$
- 如果需要，我们可以添加额外的约束条件，例如 $P ≻ - I$ （即 $P$ 半正定），以确保分离是通过一个椭球进行的。
多项式判别：选择 $F (z)$ 为包含所有给定次数 $d$ 的单项式的向量
- 以 $n = 2$ 和 $d = 3$ 为例， $F(z)=(1,z_1,z_2,z_1^2,z_1z_2,z_2^2,z_1^3,z_1^2z_2,z_1z_2^2,z_2^3)$