凸优化
内积
定义在n维实向量集合Rn上的标准内积为，对任意的x,y∈Rn，
<x,y>=xTy=∑i=1nxiyi
采用符号 xTy代替 <x,y>。向量 x∈Rn的Euclid范数，或 l2-范数，定义为
∥x∥2=(xTx)12=(x21+⋯+x2n)12
对于任意的 x,y∈Rn，Cauchy-Schwartz不等式是 |xTy|⩽∥x∥2∥y∥2。两个非零向量 x,y∈Rn之间（无符号）的夹角定义为
∠(x,y)=arccos(xTy∥x∥2∥y∥2)
其中，我们取 arccos(u)∈[0,π]。
定义在m×n实矩阵集合Rm×n上的标准内积为，对任意X,Y∈Rm×n
<X,Y>=tr(XTY)=∑i=1n∑j=1nXijYij
上确界和下确界
假定C⊆R。如果对每一个x∈C成立x≤a则称a是C的上界。C的上界组成的集合或者是空集（此时称C无上界），或者等于R（仅当C=∅，或者是闭的无限区间[b,∞)。我们称b为C的最小上界或上确界，用supC表示。我们规定sup∅=−∞，当C无上界时取supC=∞。当supC∈C时，我们说C的上确界是可达的。
类似地，我们可以定义下界和下确界。如果对每一个x∈C成立a≤x则称a是C的下界。C∈R的下确界（或最大下界）定义为infC=−sup(−C)。我们规定inf∅=∞，并在C无下界时，取infC=−∞。
基本的矩阵-向量运算成本
向量运算
为了完成两个向量x,y∈Rn的内积运算xTy，我们要先计算乘积xiyi然后将它们相加，这需要n次乘法和n−1次加法，或者2n−1次浮点运算。如上所述，我们只保留主导项，称内机运算需要2n次浮点运算。标量-向量乘积αx，其中α∈R,x∈Rn，耗费n次浮点运算。两个向量的加法也耗费n次浮点运算。如果向量x和y时稀疏的，这些基本运算可以更快地完成（如果向量用恰当的数据结构存储）。
矩阵-向量相乘
矩阵-向量相乘y=Ax，其中A∈Rm×n，成本为2mn次浮点运算：我们必须算y的m个分量，每个分量是A的行向量和x的乘积，即两个Rn向量的内积。利用A的结构经常可以对矩阵-向量相乘运算进行加速，如果A是稀疏矩阵，仅有（总数为mn中的）N个非零元素，那么只需要2N次浮点运算就可以确定Ax。
矩阵-矩阵相乘
矩阵-矩阵相乘C=AB，其中A∈Rm×n，B∈Rn×p，需要2mnp次浮点运算。因为我们需要计算C的mp个元素，而每个元素是两个长度为n的向量的内积。同样，经常可以利用A和B的结构大幅度节省计算量。
符号
一些特殊的集合
| 符号 | 意义 |
|---|---|
| R | 实数 |
| Rn | 实n−维向量（n×1矩阵） |
| Rm×n | 实m×n矩阵 |
| R+,R++ | 非负、正实数 |
| C | 复数 |
| Cn | 复n−维向量 |
| Cm×n | 复m×n矩阵 |
| Z | 整数 |
| Z+ | 非负整数 |
| Sn | 对称n×n矩阵 |
| Sn+,Sn++ | 对称半正定、正定n×n矩阵 |
向量和矩阵
| 符号 | 意义 |
|---|---|
| 1 | 所有分量为1的向量 |
| ei | 第i个标准基分量 |
| I | 单位矩阵 |
| XT | 矩阵X的转置 |
| XH | 矩阵X的Hermitian（复共轭）转置 |
| trX | 矩阵X的迹 |
| λi(X) | 对称矩阵X的第i大特征值 |
| λmax(X),λmin(X) | 对称矩阵X的最大、最小特征值 |
| σi(X) | 对称矩阵X的第i大奇异值 |
| σmax(X),σmin(X) | 对称矩阵X的最大、最小奇异值 |
| X+ | 矩阵X的Moore-Penrose逆或伪逆 |
| x⊥y | 向量x和y正交：xTy=0 |
| V⊥ | 子空间V的正交补 |
| diag(x) | 对角元素为x1,⋯,xn的对角矩阵 |
| diag(X,Y,⋯) | 对角块为X,Y,⋯的分块对角矩阵 |
| rankA | 矩阵A的秩 |
| R(A) | 矩阵A的值域 |
| N(A) | 矩阵A的零空间 |
范数和距离
| 符号 | 意义 |
|---|---|
| ∥⋅∥ | 范数 |
| ∥⋅∥∗ | 范数∥⋅∥的对偶范数 |
| ∥x∥2 | 向量x的Euclid（或l2-）范数 |
| ∥x∥1 | 向量x的l1-范数 |
| ∥x∥∞ | 向量x的l∞-范数 |
| ∥X∥2 | 矩阵X的谱范数（最大奇异值） |
| B(c,r) | 以c为中心r为半径的球 |
| dist(A,B) | 集合（或点）A和B之间的距离 |
广义不等式
| 符号 | 意义 |
|---|---|
| x⪯y | 向量x和y之间的分量不等式 |
| x≺y | 向量x和y之间的严格分量不等式 |
| X⪯Y | 对称矩阵X和Y之间的矩阵不等式 |
| X≺Y | 对称矩阵X和Y之间的严格矩阵不等式 |
| x⪯Ky | 由正常锥K导出的广义不等式 |
| x≺Ky | 由正常锥K导出的严格广义不等式 |
| x⪯K∗y | 对偶广义不等式 |
| x≺K∗y | 对偶严格广义不等式 |
拓扑与凸分析
| 符号 | 意义 |
|---|---|
| cardC | 集合C的基数 |
| intC | 集合C的内部 |
| relintC | 集合C的相对内部 |
| clC | 集合C的闭包 |
| bdC | 集合C的边界：bdC=clC∖intC |
| convC | 集合C的凸包 |
| affC | 集合C的仿射包 |
| K∗ | K的对偶锥 |
| IC | 集合C的示性函数 |
| SC | 集合C的支撑函数 |
| f∗ | f的共轭函数 |
概率
| 符号 | 意义 |
|---|---|
| EX | 随机向量X的期望值 |
| probS | 事件S的概率 |
| varX | 标量随机变量X的方差 |
| N(c,∑) | 均值为c、协方差（矩阵）为∑的高斯分布 |
| Φ | 随机变量N(0,1)的累积分布函数 |
函数和导数
| 符号 | 意义 |
|---|---|
| f:A→B | f是从集合domf⊆A到集合B的函数 |
| domf | 函数f的定义域 |
| epif | 函数f的上境图 |
| ∇f | 函数f的导数 |
| ∇2f | 函数f的Hessian矩阵 |
| Df | 函数f的导数（Jacobian）矩阵 |
扫一扫
4581
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
