矩阵分析与应用（一）——集合的基本运算和内积空间

矩阵相关

  幂等矩阵：对于方阵$A$，如果$A^2=A$，则称为幂等矩阵
  对合矩阵：对于方阵$A$，如果$A^2=I$，则称为对合矩阵
  非奇异矩阵：一个方阵$A$是非奇异的，当且仅当$Ax=0$只有零解，即$A$的n个列向量线性无关。
  行等价矩阵：经过行初等变换的矩阵与原矩阵是行等价矩阵。
  简约阶梯型矩阵：如果一个阶梯矩阵每个非零行的首项元素为1（首一元素），则称为简介阶梯型

集合的基本运算

$$A\cup B =\{x \in X: x \in A\space or \space x\in B\}$$

$$A\cap B =\{x \in X: x \in A\space and \space x\in B\}$$ $$A+ B =\{z=x+y \in Z: x \in A\space , \space x\in B\}$$ $$X = A-B =\{x \in X: x \in A\space and \space x\notin B\}$$
集合 $A$在$X$中的补集： $A^c =X-A=\{x \in X: x\notin A\}$
笛卡尔积：若 $X$和$Y$为集合，且 $x\in X，y\in Y$，则所有的有序数对 $(x,y)$的集合记为 $X\times Y$，称为集合的笛卡尔积:
$$X\times Y=\{(x,y):x\in X, y\in Y\}$$

向量空间

  以向量为元素的集合$V$称为向量空间，它满足加法和标量乘法的闭合性，即：

$$\forall x\in V,y\in V\to x+y\in V$$

$$\forall a\in R,y\in V\to ay\in V$$

实内积空间

  实内积空间是满足下列条件的实向量空间$E$：

$$正定性：\forall x\in E,and \space x\neq 0,\langle x,x\rangle>0$$

$$对称性：\forall x,y\in E,\langle x,y\rangle=\langle y,x\rangle$$ $$\langle x,y+z\rangle=\langle x,y\rangle+\langle x,z\rangle,\forall x,y,z\in E$$ $$\langle \alpha x,y\rangle=\alpha\langle x,y\rangle\forall x,y\in E，\alpha\in R$$
  如果在一个 $n$阶实内积空间$R^n$定义典范内积(cannonical inner product)为：
$$\langle x,y\rangle=\sum_{i=1}^nx_iy_i$$
  则称 $R^n$为 $n$阶Euclidean空间。

范数

  若$R^n$为一个实内积空间，且 $x\in E^n$，则 $x$的范数（或“长度”）记为$\Vert x\Vert$，定义为：

$$\Vert x\Vert=\langle x,x\rangle^{1/2}$$
  长度为1的向量称为单位向量。
  向量 $x,y$之间的距离定义为：
$$d=\Vert x-y\Vert=\langle x-y,x-y\rangle^{1/2}$$
  特别地，对于Euclidean n空间，向量范数取：
$$\Vert x\Vert_2=\sqrt{a_1^2+a_2^2+...+a_n^2}$$

  在实内积空间中，范数具有以下性质：
    1.只有0向量的范数为0，否则大于0。
    2.$\forall x\in R^n,c\in R，\Vert cx\Vert=\vert c\vert\Vert x\Vert$
    3.服从极化恒等式（polarization identity）：

$$\langle x,y\rangle=\frac{1}{4}(\Vert x+y\Vert^2-\Vert x-y\Vert^2)$$     4.满足平行四边形法则（parallelogram law）:
$$\Vert x+y\Vert^2+\Vert x-y\Vert^2=2\Vert x\Vert^2+2\Vert y\Vert^2$$     5.服从Cauchy-Schwartz不等式：
$$\vert \langle x,y\rangle\vert\le\Vert x\Vert\Vert y\Vert，当且仅当y=cx时，等号成立，c\in R\neq 0$$     5.满足三角不等式： $$\Vert x+y\Vert\le\Vert x\Vert \Vert y\Vert$$

复内积空间

  即同样满足上述定理的复向量空间$C^n$构成复内积空间，有些在表达形式上有所不同：

$$正定性：\forall x\in E,and \space x\neq 0,\langle x,x\rangle>0$$ $$共轭对称性（Heimitian性）：\forall x,y\in E,\langle x,y\rangle^*=\langle y,x\rangle$$ $$\langle x,y+z\rangle=\langle x,y\rangle+\langle x,z\rangle,\forall x,y,z\in E$$ $$\langle \alpha x,y\rangle=\alpha^*\langle x,y\rangle\forall x,y\in E，\alpha\in C$$

范数

  在复内积空间中，范数具有以下性质：
    1.只有0向量的范数为0，否则大于0。
    2.$\forall x\in R^n,c\in C，\Vert cx\Vert=\vert c\vert\Vert x\Vert ，\vert c\vert表示复数c的模$
    3.服从极化恒等式（polarization identity）：

$$\langle x,y\rangle=\frac{1}{4}(\Vert x+y\Vert^2-\Vert x-y\Vert^2-j\Vert x+jy\Vert^2+j\Vert x-jy\Vert^2)$$     4.满足平行四边形法则（parallelogram law）:
$$\Vert x+y\Vert^2+\Vert x-y\Vert^2=2\Vert x\Vert^2+2\Vert y\Vert^2$$     5.服从Cauchy-Schwartz不等式：
$$\vert \langle x,y\rangle\vert\le\Vert x\Vert\Vert y\Vert，当且仅当y=cx时，等号成立，c\in C$$     5.满足三角不等式： $$\Vert x+y\Vert\le\Vert x\Vert \Vert y\Vert$$