矩阵分析 (二) 内积空间

矩阵分析系统学习笔记

本系列所有文章来自东北大学韩志涛老师的矩阵分析课程学习笔记，系列如下：
矩阵分析 (一) 线性空间和线性变换
矩阵分析 (二) 内积空间
矩阵分析 (三) 矩阵的标准形
矩阵分析 (四)向量和矩阵的范数
矩阵分析 (五) 矩阵的分解
矩阵分析 (六) 矩阵的函数
矩阵分析 (七) 矩阵特征值的估计
矩阵分析 (八) 矩阵的直积

内积空间的基本概念

• 定义2.1：设$V$是实数域$P$上的线性空间，如果对于$V$中任意两个元素$\alpha$，$\beta$都有一个实数$(\alpha ,\beta )$与它们对应，并且满足下面的四个条件，则$(\alpha ,\beta )$称为元素$\alpha$,$\beta$的内积：

  1）：对于任意的$\alpha ,\beta$:
$$(\alpha ,\beta )=(\beta ,\alpha )$$
  2）：对于任意的$\alpha ,\beta ,\gamma$:
$$(\alpha +\beta ,\gamma )=(\alpha ,\gamma )+(\beta ,\gamma )$$
  3）：$(k\alpha ,\beta )=k(\alpha ,\beta )$

  4）：$(\alpha ,\alpha )\ge 0$当且仅当$\alpha =0$时成立。

正交基与子空间的正交

  在线性空间中可以找到一组基底，这组基底本身线性无关，且其他元素可以被它线性表达，在内积空间中，可以有进一步的结果，即可以找到标准正交基。

• 定义2.2：由正交的单位向量${\alpha }_1，{\alpha }_2，\cdots ，{\alpha }_n$组成的基底叫作标准正交基，这时：
  $$\left({\mathbf{\alpha }}_i,{\mathbf{\alpha }}_j\right)=\{\begin{array}{ll}1,& i=j,(i,j=1,2,\cdots ,n)\\ 0,& i\ne j\end{array}$$

  可以说任意一个$n$维欧氏空间中都存在标准正交基。

• 施密特(Schmidt)正交化的方法求标准正交基：

  设${\alpha }_1，{\alpha }_2，\cdots ,{\alpha }_n$是$V$的一个基地。则${\alpha }_1，{\alpha }_2，\cdots ,{\alpha }_n$线性无关。

  首先取${\beta }_1={\alpha }_1$，然后从第二项开始，把前面的向量的分量减去：
$${\beta }_2={\alpha }_2-k_{21}{\beta }_1$$

  使${\beta }_2$与${\beta }_1$垂直，如下图(2.1)所示：

  由：

$$({\alpha }_2-k_{21}{\beta }_1，{\beta }_1)=0$$

  得：

$$k_{21}=\frac{({\alpha }_2,{\beta }_1)}{({\beta }_1,{\beta }_1)}$$

  同样的设：

$${\beta }_3={\alpha }_3-k_{31}{\beta }_1-k_{32}{\beta }_2$$

  使${\beta }_3$与${\beta }_1$，${\beta }_2$都垂直，即：

$$({\beta }_3,{\beta }_1)=({\beta }_3,{\beta }_2)=0$$

  得：

$$k_{31}=\frac{({\alpha }_3,{\beta }_1)}{({\beta }_1,{\beta }_1)}，k_{32}=\frac{({\alpha }_3,{\beta }_2)}{({\beta }_2,{\beta }_2)}$$

  由此做下去：

$${\beta }_n={\alpha }_n-k_{n1}{\beta }_1-\cdots -k_{n,n-1}{\beta }_{n-1}$$

$$k_{ni}=\frac{({\alpha }_n,{\beta }_i)}{({\beta }_i,{\beta }_i)},(i=1,2,\cdots ,n-1)$$

  最后把得到的向量${\beta }_1$，${\beta }_2$，$\cdots$，${\beta }_n$单位化，即得到标准正交基。

正交

• 前面讨论的过渡矩阵：
  $$({\beta }_1，{\beta }_2，\cdots ，{\beta }_n)$$
  $$=({\alpha }_1，{\alpha }_2，\cdots ，{\alpha }_n)A$$
  这里$A$一定是可逆的，如果${\alpha }_1，{\alpha }_2，\cdots ，{\alpha }_n$和${\beta }_1，{\beta }_2，\cdots ，{\beta }_n$都是标准正交基，可以有进一步的结果，即$A$是正交的矩阵。

• 定义2.3：如果任取$\alpha \in V_1$，$\beta \in V_2$，$(\alpha ,\beta )=0$，则称$V_1与V_2$正交。
  例如：
  $$V_1=\{(x_1,x_2,0)|x_1,x_2\in R\}$$

$$V_2=\{(0,0,x_3)|x_3\in R\}$$

  $V_1$与$V_2$正交。

• 定义2.4：如果任取$\beta \in V_1$，$(\alpha ,\beta )=0$，则称$\alpha$与$V_1$正交。（这里也就是说$\alpha$与空间$V$中所有向量正交。）

• 定理2.1：如果子空间$V_1$与$V_2$是正交的，则它们的和$V_1+V_2$是直和。

正交补

• 定义2.5：如果$V$中子空间$V_1$与$V_2$正交，并且：

$$V_1+V_2=V$$

  则称$V_1(V_2)$是$V_2(V_1)$的正交补，记作：

$$V_1=V_2^{\perp },V_2=V_1^{\perp }$$

• 定理2.2：$n$维欧氏空间的任一子空间$V_1$都有唯一的正交补。

点到子空间的距离与最小二乘法

• 证明欧氏空间中的一个向量$\alpha$到一个子空间$W$中的各个向量的距离也以垂线为最短：
  设$\beta \in W$而$\alpha -\beta$不垂直于$W$，$\alpha -\gamma \perp W$，$\gamma \in W$，则：
  $$|\alpha -\beta {|}^2=|\alpha -\gamma +\gamma -\beta {|}^2$$
  $$\begin{gathered} =|\alpha -\gamma {|}^2+|\gamma -\beta {|}^2 \\ \ge |\alpha -\gamma {|}^2 \end{gathered}$$

• 设$W=L({\alpha }_1，\cdots ,{\alpha }_s)$，而$\alpha \in V$，$\alpha \perp W$，容易看出：
  $$\alpha \perp W\iff \alpha \perp {\alpha }_i(i=1,2,\cdots ,s)$$

• 现在来看最小二乘法的问题：

  解不相容的线性方程组$AX=b$，这里$R(A)\ne R(A,b)$，即方程组无解。现在找一个最小二乘解，也就是找一个近似程度最好的解。

  设$A=({\alpha }_1,\cdots ,{\alpha }_n)$,这里${\alpha }_1,\cdots ,{\alpha }_n$是列向量，则：
$$AX=\left({\alpha }_1,\cdots ,{\alpha }_n\right)\left(\begin{array}{c}{x}_1\\ ⋮\\ x_n\end{array}\right)=\sum _{i=1}^n{x}_i{\alpha }_i$$
  当$X$的分量取遍所有值的时候，上面的表达式是：
$${\alpha }_1，\cdots ,{\alpha }_n$$
  的任意组合，所以：
$$AX=L({\alpha }_1,\cdots ,{\alpha }_n)=W$$
  而方程组无解意味着不存在一组$x_1，\cdots ,x_n$使$AX=b$，即$b$不能被${\alpha }_1,\cdots ,{\alpha }_n$组合出来，$b\notin W$。现在在$L({\alpha }_1，\cdots ，{\alpha }_n)$中找一个离$b$最近的向量，即找一个$\sum x_i{\alpha }_i=\beta$，使：

$$b-\beta \perp W$$

  而$b-\beta \perp W$时这个距离最小，当$b-\beta \perp W$时，

$$b-\beta \perp {\alpha }_i(i=1,2,\cdots ,n)$$

  这里$b=\beta$与${\alpha }_i$都是列向量。所以：

$$（b-\beta ，{\alpha }_i）=0$$

  即${\alpha }_i^T(b-\beta )=0$，写在一起得：

$$\left(\begin{array}{c}{\mathbf{\alpha }}_1^{\mathrm{T}}\\ {\mathbf{\alpha }}_2^{\mathrm{T}}\\ ⋮\\ {\mathbf{\alpha }}_n^{\mathrm{T}}\end{array}\right)(\mathbf{b}-\mathbf{\beta })=0,\left(\begin{array}{c}{\mathbf{\alpha }}_1^{\mathrm{T}}\\ {\mathbf{\alpha }}_2^{\mathrm{T}}\\ ⋮\\ {\mathbf{\alpha }}_n^{\mathrm{T}}\end{array}\right)=A^{\mathrm{T}},\beta =AX$$

  所以最小二乘解是：

$$A^{T}AX=A^{T}b$$

正规矩阵

  如果把数域扩大到复数，则可以仿照实数空间内积的定义，把内积推广到复数，但是要考虑到复数的特性。

• 定义2.6：设$V$是复数域$C$上的线性空间，如果对$V$中的任意向量$\alpha ,\beta$，都有一个复数$\alpha ,\beta$与之对应，且满足如下条件，则$(\alpha ,\beta )$称为$V$的内积。

1. $(\alpha ,\beta )=(\beta ,\alpha )$

2. $(\alpha +\beta ，\gamma )=(\alpha ,\gamma )+(\beta ,\gamma )$

3. $(k\alpha ,\beta )=k(\alpha ,\beta )$

4. $(\alpha ,\alpha )\ge 0$，当且仅当$\alpha =0$时$(\alpha ,\alpha )=0$

  这时$V$称为复内积空间或者酉空间，这里$(\beta ,\alpha )$是$\beta ,\alpha$的共轭，条件4）是保证$\alpha ,\alpha$是实数，否则可能会有$\alpha \ne 0$，但是$(\alpha \cdot \alpha )=0$,如$\alpha =(3,4,5i)$

• 定义2.7：设$A\in C^{n\times n}$且$A^{H}A=A{A}^H=E$，则称$A$为酉矩阵。这是实数空间正交矩阵的推广。

• 酉矩阵具有以下性质：
  1）$|A|=1$；
  2）$A^{-1}=A^H$,$(A^{-1}{)}^H=(A^H{)}^{-1}$；
  3）$A^{-1}$也是酉矩阵，两个酉矩阵的乘积也是酉矩阵；
  4）$A$的行(列)向量构成标准正交基。

• 定义2.8：设$A\in C^{n\times n}$,且$A^{H}A=A{A}^H$,则$A$称为正规矩阵。

我的微信公众号名称：小小何先生
公众号介绍：主要研究分享深度学习、机器博弈、强化学习等相关内容！期待您的关注，欢迎一起学习交流进步！