矩阵代数基础

3、向量空间、线性映射与Hilbert空间

3.4、内积空间、赋范空间与Hilbert空间

Hilbert空间

定义  一个相对于范数完备即满足范数收敛${\lim }_{n\to \infty }||v_n||\to ||v||$的赋范向量空间V称为Hilbert空间。

6、矩阵的性能指标

6.4、矩阵的迹

定义  $n\times n$矩阵A的对角元素之和称为A的迹，记作$tr(A)$，即有：
$$tr(A)=a_{11}+\cdots +a_{nn}=\sum _{i=1}^n{a}_{ii}$$

非正方矩阵无迹的定义。
1、关于迹的等式
（1）若A和B均为$n\times n$矩阵，则$tr(A\pm B)=tr(A)\pm tr(B)$。
（2）若A和B均为$n\times n$矩阵，并且$c_1$和$c_2$为常数，则$tr(c_{1}A\pm c_{2}B)=c_{1}tr(A)\pm c_{2}tr(B)$。特别地，若$B=O$，则$tr(cA)=ctr(A)$。
（3）矩阵A的转置、复数共轭和复共轭转置的迹分别为$tr(A^T)=tr(A)$，$tr(A^{\ast })=[tr(A){]}^{\ast }$和$tr(A^H)=[tr(A){]}^{\ast }$。
（4）若$A\in C^{m\times n}$，$B\in C^{m\times n}$，则$tr(AB)=tr(BA)$。
（5）若A是一个$m\times n$矩阵，则$tr(A^{H}A)=0⟺A=O^{m\times n}$（零矩阵）。
（6）$x^{H}Ax=tr(Ax{x}^H)$和$y^{H}x=tr(x{y}^H)$。
（7）迹等于特征值之和，即$tr(A)={\lambda }_1+\cdots +{\lambda }_n$。
（8）分块矩阵的迹满足
$$tr\left[\begin{array}{cc}A& B\\ C& D\end{array}\right]=tr(A)+tr(D)$$

式中，$A\in C^{m\times n}$，$B\in C^{m\times n}$，$C\in C^{n\times m}$，$D\in C^{n\times n}$。
（9）对于任何正整数k，有
$$tr(A^k)=\sum _{i=1}^n{\lambda }_i^k$$

2、关于迹的不等式
（1）对一个复矩阵$A\in C^{m\times n}$，有$tr(A^{H}A)=tr(A{A}^H)⩾0$。
（2）Schur不等式$tr(A^2)⩾tr(A^{T}A)$。
（3）若A、B均为$m\times n$矩阵，则
$$tr[(A^{T}B{)}^2]⩽tr(A^{T}A)tr(B^{T}B)$$

（4）$tr[(A+B)(A+B{)}^T]⩽2[tr(A{A}^T)+tr(B{B}^T)]$。
（5）若A和B为$m\times m$对称矩阵，则$tr(AB)⩽\frac{1}{2}tr(A^2+B^2)$。

6.5、矩阵的秩

定义  矩阵$A_{m\times n}$的秩定义为该矩阵中线性无关的行或列的数目。
矩阵方程$A_{m\times n}{x}_{n\times 1}=b_{m\times 1}$称为一致方程(consistent equation)

9、矩阵的直和与Hadamard积

9.1、矩阵的直和

9.2、Hadamard积

定义  $m\times n$矩阵$A=[a_{ij}]$与$m\times n$矩阵$B=[b_{ij}]$的Hadamard积记作$A\ast B$，它仍然是一个$m\times n$矩阵，其元素定义为两个矩阵对应元素的乘积：
$$(A\ast B{)}_{ij}=a_{ij}{b}_{ij}$$

即Hadamard积是一映射${\mathbb{R}}^{m\times n}\times {\mathbb{R}}^{m\times n}\mapsto {\mathbb{R}}^{m\times n}$。
Hadamard积也称Schur积或者对应元素乘积。

12、稀疏表示与压缩感知

12.1、稀疏向量与稀疏表示

稀疏向量  一个含有大多数零元素的向量。
完备正交基  信号向量$y\in {\mathbb{R}}^m$最多可分解为m个正交基（向量）$g_k\in {\mathbb{R}}^m,k=1,\cdots ,m$，这些正交基的集合。

12.3、稀疏编码

稀疏编码  给定一个m维shi’zhi

12.4、压缩感知的稀疏表示

压缩感知的两个基本性质：稀疏性和非相干性
（1）稀疏性表达的思想是：当使用合适的表示基$\Psi$作为信号表示时，许多自然的信号和图像都是稀疏的或可压缩的。
（2）非相干性的基本思想是：当感知基$\Phi$与表示基$\Psi$不相干时，与感兴趣的自然信号和图像不同，采样或者感知的波形具有极为稠密的表达式，其中$\alpha$是一个K-稀疏的系数向量。