矩阵分析 (六) 矩阵的函数

矩阵分析系统学习笔记

本系列所有文章来自东北大学韩志涛老师的矩阵分析课程学习笔记，系列如下：
矩阵分析 (一) 线性空间和线性变换
矩阵分析 (二) 内积空间
矩阵分析 (三) 矩阵的标准形
矩阵分析 (四)向量和矩阵的范数
矩阵分析 (五) 矩阵的分解
矩阵分析 (六) 矩阵的函数
矩阵分析 (七) 矩阵特征值的估计
矩阵分析 (八) 矩阵的直积

矩阵的微分和积分

  定义：以变量$t$的函数为元素的矩阵$A(t)=(a_{ij}(t){)}_{m\times n}$称为函数矩阵，这里$a_{ij}(t)$是$t$的函数。当$a_{ij}(t)$都可微时，规定导数为：

$$A^{{}^{\prime }}(t)=(a_{ij}^{{}^{\prime }}(t){)}_{m\times n}$$

或：

$$\frac{dA(t)}{dt}=(\frac{d}{dt}{a}_{ij}(t){)}_{m\times n}$$

  而当$a_{ij}$在$(a,b)$上可积时，规定$A$的积分为：

$${\int }_a^{b}A(t)dt=({\int }_a^b{a}_{ij}(t)dt{)}_{m\times n}$$

求导法则：

  设$A(t)$与$B(t)$是适当阶数的可微矩阵时，$\lambda (t)$是可微函数。

1. $(A+B{)}^{{}^{\prime }}=A^{{}^{\prime }}+B^{{}^{\prime }}$;

2. $(\lambda A{)}^{{}^{\prime }}={\lambda }^{{}^{\prime }}A+\lambda A^{{}^{\prime }}$

3. $(A\cdot B{)}^{{}^{\prime }}=A^{{}^{\prime }}B+A{B}^{{}^{\prime }}$

4. 当$u=f(t)$关于$t$可微时：$\frac{dA(u)}{dt}=\frac{dA(u)}{du}\cdot \frac{du}{dt}$;

5. 当$A^{-1}(t)$可微时，$(A^{-1}(t){)}^{{}^{\prime }}=-A^{-1}(t)A^{{}^{\prime }}(t)A^{-1}(t)$

  第五个等式的证明如下：

$$0=I^{\prime }={\left(X{X}^{-1}\right)}^{\prime }=X^{\prime }{X}^{-1}+X{\left(X^{-1}\right)}^{\prime }$$

$$\Rightarrow {\left(X^{-1}\right)}^{\prime }=-X^{-1}{X}^{\prime }{X}^{-1}$$

• 例题8：设$F=AX$,$A=(a_{ij}{)}_{m\times n}$，$X=(x_1，x_2，\cdots ，x_n{)}^T$求$\frac{dF}{d{X}^T}$。

  解：
$$\frac{dF}{d{X}^T}=A$$

• 例题9：设$f=X^{T}Y$，$X=(x_1，x_2，\cdots ,x_n{)}^T，Y=(y_1，y_2，\cdots ,y_n{)}^T$，求$\frac{df}{dX}$（$y_i$是$X$的函数）。

  解：

$$\frac{dF}{dX}=\frac{d{X}^T}{dX}Y+\frac{d{Y}^T}{dX}\cdot X$$

  最小二乘解也可以通过这种方式求出，对误差的平方求导数即可得到。

矩阵序列及矩阵级数

定义：设有$C^{n\times n}$的矩阵序列 { A ( k ) } \{A^{(k)}\} {A(k)}，其中：
$$A^k=(a_{ij}^k{)}_{m\times n}$$
  若有：
$$li{m}_{k\to \infty }{a}_{ij}^k=a_{ij}$$
  则称矩阵序列$A^k$收敛于$A$,$A=(a_{ij}{)}_{n\times n}$为 { A ( k ) } \{A(k)\} {A(k)}的极限，记为：
$$li{m}_{k\to \infty }{A}^{(k)}=A或A^k\to A$$
  不收敛的序列称之为发散序列。

• 定理6.1：设$A^k$,$A\in C^{n\times n}$，则$li{m}_{k\to \infty }{A}^k=A$的充要条件是：
  $$li{m}_{k\to \infty }||A^k-A||=0,$$

  其中$||\cdot ||$是$C^{n\times n}$上的任何一个范数。

• 定理6.2：设：

$$A^k\to A,B^k\to B,$$

  其中：

$$A^k,B^k,A,B$$

  是适当阶段的矩阵，$a,b$ $\in$ $C$是常数，则：

1. $a{A}^k+b{B}^k\to aA+bB$

2. $A^k\cdot B^k\to AB$

• 定义6.5：设$A\in C^{n\times n}$，若$li{m}_{k\to \infty }{A}^k=0$，则称$A$为收敛矩阵，这里$A^k$是$A$的$k$次方。

• 定理6.3 ：设$A\in C^{n\times n}$，则$A$为收敛矩阵的充要条件是$\rho <1$。

矩阵的级数

• 定义6.6：由$C^{n\times n}$的矩阵序列 { A ( k ) } \{A^{(k)}\} {A(k)}构成的无穷级数：
  $$A^{(0)}+A^{(1)}+\cdots +A^{(k)}+\cdots$$

  称为矩阵级数，记为${\sum }_{k=0}^{+\infty }{A}^{(k)}$。对任一正整数$N$，称$S^N={\sum }_{k=0}^N{A}^k$为矩阵级数的部分和，如果由部分和构成的矩阵序列 { S N } \{S^{N}\} {SN}收敛，且有极限，即：

$$li{m}_{N\to \infty }{S}^N=S$$

  则称矩阵级数${\sum }_{k=0}^{+\infty }{A}^k$收敛，而且有和$S$，记为：

$$S=\sum _{k=0}^{+\infty }{A}^k$$

• 定义6.7：设$A^{(k)}=(a_{ij}^k{)}_{n\times n}$，如果$n^2$个数量级数：

$$\sum _{k=0}^{+\infty }{a}_{ij}^k$$

  都绝对收敛，即：

$$\sum _{k=0}^{+\infty }|a_{ij}^k|$$

  收敛，则称级数${\sum }_{k=0}^{+\infty }{A}^k$绝对收敛。

• 定理6.4：设$A^k=(a_{ij}^{(k)}{)}_{n\times n}$，则矩阵级数${\sum }_{k=0}^{+\infty }{A}^k$绝对收敛的充要条件是${\sum }_{k=0}^{+\infty }||A^k||$收敛，其中$||\cdot ||$是$C^{n\times n}$上的任一矩阵范数。

矩阵的幂级数

• 定义6.8： 设$A\in C^{n\times n}$,$a_k\in C(k=0,1,2,\cdots )$,称矩阵级数：

$$\sum _{k=0}^{+\infty }{a}_k{A}^k$$

  为矩阵$A$的幂级数。

  利用定义来判断矩阵幂级数的敛散性，需要判别$n^2$个数项级数的敛散性，当矩阵的阶数较大时，这很不方便，且在许多情况下也不必要。矩阵幂级数是复变量$z$的幂级数的推广，如果${\sum }_{k=0}^{\infty }{a}_k{z}^k$的收敛半径为$R$,则对于收敛圆$|z|<R$内的所有$z$，都是绝对收敛，因此，讨论级数的收敛性问题，自然联系到${\sum }_{k=0}^{\infty }{a}_k{z}^k$的收敛半径，关于矩阵幂级数有下面的结论：

• 定理6.5：设${\sum }_{k=0}^{\infty }{a}_k{z}^k$的收敛半径为$R$，$A\in C^{n\times n}$，则：

1. 当$\rho (A)<R$时，${\sum }_{k=0}^{\infty }{a}_k{z}^k$绝对收敛；

2. 当$\rho (A)>R$时，${\sum }_{k=0}^{\infty }{a}_k{z}^k$发散。

矩阵函数

• 矩阵函数定义：

  这里利用方阵的幂级数来定义矩阵函数：

  在复变函数中，一些函数可以表达成无穷级数的和，即函数可以展开：

$$e^Z=\sum _{n=0}^{+\infty }\frac{z^n}{n!}$$

  利用这种展开可以定义矩阵函数：

$$e^A=\sum _{n=0}^{+\infty }\frac{A^n}{n!}$$

  称之为矩阵$A$的指数函数，而相应的幂级数的收敛半径为无穷大，所以对任何矩阵都收敛。

• 计算矩阵函数：

  这里介绍计算矩阵函数的最小多项式的方法：

  若$f(\lambda )$是多项式，$m(\lambda )$是$A$的最小多项式，它的次数为$m$，以$m(\lambda )$去除$f(\lambda )$得：

$$f(\lambda )=m(\lambda )q(\lambda )+r(\lambda )$$

  这里$r(\lambda )=0$或者比$m(\lambda )$的次数更低，因此：

$$f(A)=m(A)q(A)+r(A)=r(A)$$

  由此可见，次数高于$m$次的任一多项式$f(A)$都可以化为次数$\le m-1$的$A$的多项式$r(A)$来计算，这一思想可以推广到由矩阵幂级数确定的矩阵函数$f(A)$上，有如下定理：

• 定理6.6：设$n$阶矩阵$A$的最小多项式为$m$次多项式：

$$m(\lambda )=(\lambda -{\lambda }_1{)}^{n_1}(\lambda -{\lambda }_2{)}^{n_2}\cdots (\lambda -{\lambda }_s{)}^{n_s}$$

  其中，${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_s$是$A$的所有不同的特征值，与$f(z)={\sum }_{k=0}^{+\infty }{C}_k{z}^k$相应的$f(A)={\sum }_{k=0}^{\infty }{C}_k{A}^k$是$A$的幂级数，则：

$$f(A)=a_{0}E+a_{1}A+\cdots +a_{m-1}{A}^{m-1}$$

  系数$a_0,a_1,\cdots ,a_{m-1}$满足下列方程组：

$$a_0+a_i{\lambda }_i+\cdots +a_{m-1}{\lambda }_i^{m-1}=f({\lambda }_i)$$

$$a_1+2a_2{\lambda }_i+\cdots +(m-1)a_{m-1}{\lambda }_i^{m-2}=f^{{}^{\prime }}({\lambda }_i)$$

$$(n_i-1)a_{n_{i-1}}+\cdots +(m-1)\cdots (m-n_i+1)a_{m-1}{\lambda }_i^{m-n_i+1}=f^{(n_i-1)}({\lambda }_i)$$

  即：

$$f(\lambda )=a_0+a_1\lambda +\cdots +a_{m-1}{\lambda }^{m-1}$$

  求$n_i-1$次导数，得到$n_i$个子式，在这些式子中把${\lambda }_i$代入。事实上，设：

$$f(\lambda )=m(\lambda )q(\lambda )+r(\lambda )$$

  两边求导

$$f^{{}^{\prime }}(\lambda )=m^{{}^{\prime }}(\lambda )q(\lambda )+m(\lambda )q^{{}^{\prime }}(\lambda )+r^{{}^{\prime }}(\lambda )$$

  而$m(\lambda )$，$m^{{}^{\prime }}(\lambda )$当$\lambda ={\lambda }_i$时为零，因为$m(\lambda )$中有$(\lambda -{\lambda }_i{)}^{n_i}$,所以可以求$n_i-1$次导数，代入时只有$r^{n_i-1}({\lambda }_i)$不是零。

• 例16：设

$$A=\left(\begin{array}{ccc}2& 1& 4\\ 0& 2& 0\\ 0& 3& 1\end{array}\right)$$

  解：

$$f(\lambda )=(\lambda -1)(\lambda -2{)}^2$$

  而$(\lambda -1)(\lambda -2)$不是零化多项式，所以最小多项式是：

$$m(\lambda )=f(\lambda )$$

  设：

$$e^{At}=a_{0}E+a_{1}A+a_2{A}^2$$

  由

$$e^{\lambda t}=a_0+a_1\lambda +a_2{\lambda }^2$$

  两边求导：

$$t{e}^{\lambda t}=a_1+2a_2\lambda$$

  再带入特征值得

$$\begin{array}{rl}& {\mathrm{e}}^t=a_0+a_1+a_2\\ & {\mathrm{e}}^{2t}=a_0+2a_1+4a_2\\ & t{e}^{2t}=a_1+4a_2\end{array}$$

  解出：

$$\begin{array}{rl}& a_0=4{\mathrm{e}}^t-3{\mathrm{e}}^{2t}+2t{\mathrm{e}}^{2t}\\ & a_1=-4{\mathrm{e}}^4+4{\mathrm{e}}^{2t}-3t{\mathrm{e}}^{2t}\\ & a_2={\mathrm{e}}^t-{\mathrm{e}}^{2t}+t{\mathrm{e}}^{2t}\end{array}$$

  代入得：

$${\mathrm{e}}^{At}={\mathrm{e}}^{2t}\left(\begin{array}{ccc}1& 12{\mathrm{e}}^{-t}-12+13t& -4{\mathrm{e}}^{-t}+4\\ 0& 1& 0\\ 0& -3{\mathrm{e}}^{-t}+3& {\mathrm{e}}^{-t}\end{array}\right)$$

矩阵函数的性质

  这里讨论一下矩阵函数的一些性质：

1. $sin(-A)=-sin(A)$，$cos(-A)=cos(A)$

2. 设$A,B\in C^{n\times n}$，当$AB=BA$ 时，$e^{A+B}=e^A\cdot B^B=e^B\cdot B^A$。

3. 由欧拉公式容易得到：

$$e^{iA}=cos(A)+isin(A)$$

$$cos(A)=\frac{1}{2}(e^{iA}+e^{-iA})$$

$$sin(A)=\frac{1}{2i}(e^{iA}-e^{-iA})$$

4. 利用上面的公式容易得到，当$AB=BA$时：

$$sin(A+B)=sin(A)cos(B)+cos(A)sin(B)$$

$$cos(A+B)=cos(A)cos(B)-sin(A)sin(B)$$

矩阵函数在微分方程组中的应用

  考虑一阶常系数非齐次方程组：

$$\{\begin{array}{l}\frac{\mathrm{d}X}{\mathrm{d}t}=AX+F(t)\\ {X|}_{t=t_0}=X\left(t_0\right)\end{array}$$

  其解为：

$$X(t)=e^{A\left(t-t_0\right)}X\left(t_0\right)+{\int }_{t_0}^t{e}^{A(t-\tau )}F(\tau )d\tau$$

线性系统的能控性与能观性

  能控性概念理解：

  考虑一阶常系数非齐次方程组：

$$\{\begin{array}{l}\frac{\mathrm{d}X}{\mathrm{d}t}=AX+F(t)\\ {X|}_{t=t_0}=X\left(t_0\right)\end{array}$$

  其解为：

$$X(t)=e^{A\left(t-t_0\right)}X\left(t_0\right)+{\int }_{t_0}^t{e}^{A(t-\tau )}F(\tau )d\tau$$

  如果能够通过输入控制输出，也就是控制$F(t)$，使其最后的解能够可控，我们称这个系统是能控的。

• 定义6.9：对于一个线性定常系统，若在某个有限时间$[0,t_1]$内存在输入$\mu (t)$,$(0\le t\le t_1)$能够使系统从任意初始状态$X(0)=X_0$转移到$X_{t_1}=0$，则称此状态是能控的；若系统的所有状态时能控的，则称此系统是完全能控的。

  由前面知道系统的解为：

$$X(t_1)=e^{A{t}_1}X\left(0\right)+{\int }_0^{t_1}{e}^{A(t_1-\tau )}Bu(\tau )d\tau$$

  想要：

$$X(t_1)=0$$

  得：

$$e^{A{t}_1}X(0)+{\int }_{t_0}^{t_1}{e}^{A{t}_1}\cdot e^{-A\tau }B(\tau )d\tau =0$$

  约去$e^{A{t}_1}$得：

$$X(0)+{\int }_{t_0}^{t_1}{e}^{-A\tau }B(\tau )d\tau =0$$

  可见，只要取恰当的$u$使得上式等于0即可：

  通过观察，可取：

$$u(t)=-B^{\mathrm{T}}{\mathrm{e}}^{-A^{\mathrm{T}}t}{\left({\int }_0^{t_1}{\mathrm{e}}^{-A\tau }B{B}^{\mathrm{T}}{\mathrm{e}}^{-A^{\mathrm{T}}\tau }\mathrm{d}\tau \right)}^{-1}X(0)$$

  当然这里假设了矩阵：

$$W_c={\left({\int }_0^{t_1}{\mathrm{e}}^{-A\tau }B{B}^{\mathrm{T}}{\mathrm{e}}^{-A^{\mathrm{T}}\tau }\mathrm{d}\tau \right)}^{-1}$$

  可逆。即这个矩阵可逆时系统能控。

我的微信公众号名称：小小何先生
公众号介绍：主要研究分享深度学习、机器博弈、强化学习等相关内容！期待您的关注，欢迎一起学习交流进步！