《Convex Optimization》附录A数学背景

最新推荐文章于 2024-04-07 02:19:49 发布

qingdaobaibai

最新推荐文章于 2024-04-07 02:19:49 发布

阅读量566

点赞数 1

本文链接：https://blog.csdn.net/u012288458/article/details/83002247

版权

附录A 数学背景

1. 范数

1.1 内积与夹角

n维向量内积： $<\mathbf{x},\mathbf{y}> = \mathbf{x}^{\top} \mathbf{y} = \sum_{i=1}^{n} \mathbf{x}_i \mathbf{y}_i$

m×n维矩阵内积： $<\mathbf{A}, \mathbf{B}> = \textbf{tr}(\mathbf{A}^{\top} \mathbf{B}) = \sum_{i=1}^{m} \sum_{j=1}^{n} \mathbf{A}_{ij} \mathbf{B}_{ij}$

向量(矩阵)夹角： $\angle (\mathbf{x}, \mathbf{y}) = \cos^{-1}(\frac{<\mathbf{x}, \mathbf{y}>}{\left \|\mathbf{x} \right \|_2 \left \| \mathbf{y} \right \|_2})$

Cauchy-Schwartz inequality： $\left | <\mathbf{x}, \mathbf{y}> \right | \leqslant \left \| \mathbf{x} \right \|_2 \left \| \mathbf{y} \right \|_2$ ，等号成立当且仅当向量x和y共线

1.2 常见范式（A.1.3）

向量范数

Lp-范数： $\left \| \mathbf{x} \right \|_p=(\left | \mathbf{x}_1 \right |^p + \cdots + \left | \mathbf{x}_n \right |^p)^{1/p}$

p=1、2、∞时比较常用

L1-范数（绝对值和范数）： $\left \| \mathbf{x} \right \|_1=\left | \mathbf{x}_1 \right | + \cdots + \left | \mathbf{x}_n \right |$

L2-范数（Euclidean范数）： $\left \| \mathbf{x} \right \|_2=(\left | \mathbf{x}_1 \right |^2 + \cdots + \left | \mathbf{x}_n \right |^2)^{1/2}$

L∞-范数（Chebyshev范数）： $\lim_{p \to +\infty}\left \| \mathbf{x} \right \|_p=\lim_{p \to +\infty} (\left | \mathbf{x}_1 \right |^p + \cdots + \left | \mathbf{x}_n \right |^p)^{1/p} = \max\{\left | \mathbf{x}_1 \right | , \cdots , \left | \mathbf{x}_n \right |\}$

最后一个极限是数学分析的知识，可用夹逼法证明。

P-二次型范数：若P为正定矩阵，则 $\left \| \mathbf{x} \right \|_\mathbf{P}=(\mathbf{x}^{\top} \mathbf{P} \mathbf{x})^{1/2} = \left \| \mathbf{P}^{1/2} \mathbf{x} \right \|_2$

这是十分常用的范数，可以方便的表示很多量，椭圆也可以用它简洁的表示。

矩阵范数

绝对值和(sum-absolute-value)范数： $\left \| \mathbf{X} \right \|_{sav}=\sum_{i=1}^{m} \sum_{j=1}^{n} \left | \mathbf{X}_{ij} \right |$

Frobenius范数： $\left \| \mathbf{X} \right \|_{F}=(\textbf{tr}(\mathbf{X}^{\top} \mathbf{X}))^{1/2}=(\sum_{i=1}^{m} \sum_{j=1}^{n} \mathbf{X}_{ij}^2 )^{1/2}$

绝对值最大(maximum-absolute-value)范数： $\left \| \mathbf{X} \right \|_{mav}=\lim_{p \to +\infty}(\sum_{i=1}^{m} \sum_{j=1}^{n} \left | \mathbf{X}_{ij} \right |^p )^{1/p} =\max \{ \left | \mathbf{X_{ij}} \right | | i = 1, \cdots, m, j = 1, \cdots, n \}$

与向量范数相似，对应为p取1、2、∞的情况。

算子范数（A.1.5）

定义：在范数a $\left \| \cdot \right \|_a$ 和范数b $\left \| \cdot \right \|_b$ 意义下，矩阵 $\mathbf{X} \in \mathbb{R}^{m \times n}$ 的算子范数为

$\left \| \mathbf{X} \right \|_{a,b} = sup \{ \left \| \mathbf{X} \mathbf{u} \right \|_a | \left \| \mathbf{u} \right \|_b \leq 1 \}$

这种较为一般的定义往往是不常用的，这里举了几个最常用的例子，仍分别对应1、2、∞三种情况。

当a=b=1时，

最大列和(max-column-sum)范数： $\left \| \mathbf{X} \right \|_1 = \max_{j=1, \cdots, n} \sum_{i=1}^{m} \left | \mathbf{X}_{ij} \right |$

推导：记第j列列和最大，则令 $\mathbf{u}_j$ 为1，其余为0，易得此时取得最大值

当a=b=2时，

谱(spectral)范数： $\left \| \mathbf{X} \right \|_2 = \sigma_{\max}(\mathbf{X}) = (\lambda_{\max}(\mathbf{X}^{\top} \mathbf{X}))^{1/2}$

推导： $\left \| \mathbf{X} \mathbf{u} \right \|_2^2 = \mathbf{u}^{\top} \mathbf{X}^{\top} \mathbf{X} \mathbf{u} \leq \lambda_{\max}(\mathbf{X}^{\top} \mathbf{X}) \mathbf{u}^{\top}\mathbf{u}=\lambda_{\max}(\mathbf{X}^{\top} \mathbf{X})$ ，等号成立当且仅当