矩阵微积分

向量序列的极限

设${\mathbf{x}}^{(k)},\mathbf{x}\in {\mathbb{C}}^n\left(k=1,2,\cdots \right)$
如果

$$\Vert {\mathbf{x}}^{(k)}-\mathbf{x}\Vert \to 0,k\to \infty$$
则称向量序列$\left\{{\mathbf{x}}^{(k)}\right\}$收敛于向量$\mathbf{x}$,记为
$$\underset{k\to +\infty }{\lim }{\mathbf{x}}^{(k)}=\mathbf{x}$$
由向量范数之间的等价关系，在某一向量范数意义下收敛，则在其他向量范数意义下也一定收敛

定理1

设${\mathbf{x}}^{(k)}=\left(\begin{array}{c}{x}_1^{(k)}\\ x_2^{(k)}\\ ⋮\\ x_n^{(k)}\end{array}\right),\mathbf{x}=\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right)\in {\mathbb{C}}^n$，则向量序列$\left\{{\mathbf{x}}^{(k)}\right\}$收敛于$\mathbf{x}$的充要条件为每一个坐标分量序列$\left\{x_i^{(k)}\right\}$收敛于$x_i$,即
$$\underset{k\to +\infty }{\lim }{x}_i^{(k)}=x_i,i=1,2,\cdots ,n$$
也叫按坐标收敛

证明：
必要性：设$\Vert \mathbf{x}\Vert =\Vert \mathbf{x}{\Vert }_{\infty }=\underset{i}{\max }\left|x_i\right|$,则
$$\Vert {\mathbf{x}}^{(k)}-\mathbf{x}{\Vert }_{\infty }\to 0,k\to +\infty$$
由于$\Vert {\mathbf{x}}^{(k)}-\mathbf{x}{\Vert }_{\infty }=\underset{i}{\max }\left|x_i^{(k)}-x_i\right|\ge \left|x_i^{(k)}-x_i\right|$
所以
$$\left|x_i^{(k)}-x_i\right|\to 0$$
即
$$\underset{k\to +\infty }{\lim }{x}_i^{(k)}=x_i,i=1,2,\cdots ,n$$

充分性：
$$\underset{k\to +\infty }{\lim }{x}_i^{(k)}=x_i,i=1,2,\cdots ,n$$
则
$$\underset{k\to +\infty }{\lim }\underset{i}{\max }\left|x_i^{(k)}-x_i\right|=0$$
即
$$\Vert {\mathbf{x}}^{(k)}-\mathbf{x}{\Vert }_{\infty }\to 0,k\to +\infty$$

由范数的等价性，上述结论对${\mathbb{C}}^n$中的任意向量范数均成立

矩阵序列的极限

设矩阵序列$\left\{{\mathbf{A}}^{(k)}\right\}$,其中${\mathbf{A}}^{(k)}=\left(a_{ij}^{(k}\right)\in {\mathbb{C}}^{m\times n}$
当$k\to +\infty$时，$a_{ij}^{(k)}\to a_{ij}$，则称$\left\{{\mathbf{A}}^{(k)}\right\}$收敛，并把$\mathbf{A}$叫做$\left\{{\mathbf{A}}^{(k)}\right\}$的极限，记为
$$\underset{k\to +\infty }{\lim }{\mathbf{A}}^{(k)}=\mathbf{A}$$

上面定义和下面这个范数意义下的收敛等价
$$\Vert {\mathbf{A}}^{(k)}-\mathbf{A}\Vert \to 0,k\to +\infty$$
其中$\Vert \cdot \Vert$为任一矩阵范数

证明：

考虑$\Vert \mathbf{A}\Vert ={\sum }_{i=1}^m{\sum }_{j=1}^n=\left|a_{ij}\right|$

设$\underset{k\to +\infty }{\lim }{\mathbf{A}}^{(k)}=\mathbf{A}$
即
$$\underset{k\to +\infty }{\lim }{a}_{ij}^{(k)}=a_{ij},i=1,2,\cdots ,m,j=1,2,\cdots ,n$$
于是
$$\underset{k\to +\infty }{\lim }\left|a_{ij}^{(k)}-a_{ij}\right|=0$$
故
$$\underset{k\to +\infty }{\lim }\Vert {\mathbf{A}}^{(k)}-\mathbf{A}\Vert =\underset{k\to +\infty }{\lim }\sum _{i,j=1}^n\left|a_{ij}^{(k)}-a_{ij}\right|=0$$

反之，设$\underset{k\to +\infty }{\lim }\Vert {\mathbf{A}}^{(k)}-\mathbf{A}\Vert =0$,即
$$\underset{k\to +\infty }{\lim }\sum _{i=1}^m\sum _{j=1}^n\left|a_{ij}^{(k)}-a_{ij}\right|=0$$
所以
$$\underset{k\to +\infty }{\lim }\left|a_{ij}^{(k)}-a_{ij}\right|=0$$
即
$$\underset{k\to +\infty }{\lim }{\mathbf{A}}^{(k)}=\mathbf{A}$$

再根据矩阵范数的等价性，
$$\underset{k\to +\infty }{\lim }\Vert {\mathbf{A}}^{(k)}-\mathbf{A}\Vert =0\iff \underset{k\to +\infty }{\lim }\Vert {\mathbf{A}}^{(k)}-\mathbf{A}{\Vert }_a=0$$
其中$\Vert \cdot {\Vert }_a$为任一矩阵范数

定理2

$\rho \left(\mathbf{A}\right)<1\iff \underset{k\to \infty }{\lim }{\mathbf{A}}^k=0$

证明：
设$\mathbf{A}$的特征值为$\lambda$,对应的特征向量为$\mathbf{v}$
假设$\underset{k\to \infty }{\lim }{\mathbf{A}}^k=0$
$$\begin{array}{rl}0& =\left(\underset{k\to \infty }{\lim }{\mathbf{A}}^k\right)\mathbf{v}\\ & =\underset{k\to \infty }{\lim }\left({\mathbf{A}}^k\mathbf{v}\right)\\ & =\underset{k\to \infty }{\lim }\left({\lambda }^k\mathbf{v}\right)\\ & =\mathbf{v}\underset{k\to \infty }{\lim }{\lambda }^k\end{array}$$
因为$\mathbf{v}\ne 0$,
$$\underset{k\to \infty }{\lim }{\lambda }^k=0\Rightarrow \left|\lambda \right|<1\Rightarrow \rho \left(\mathbf{A}\right)<1$$

假设$\rho \left(\mathbf{A}\right)<1$
由若尔当分解定理
$$\mathbf{A}=\mathbf{S}\left(\begin{array}{cccc}{\mathbf{J}}_{n_1}\left({\lambda }_1\right)& 0& \cdots & 0\\ 0& {\mathbf{J}}_{n_2}\left({\lambda }_2\right)& \ddots & ⋮\\ ⋮& \ddots & \ddots & 0\\ 0& \cdots & 0& {\mathbf{J}}_{n_k}\left({\lambda }_k\right)\end{array}\right){\mathbf{S}}^{-1}$$
其中$\mathbf{S}$是可逆矩阵，${\lambda }_1,\cdots ,{\lambda }_k$是$\mathbf{A}$的特征值，$n_1+\cdots +n_k=n$
由若尔当块的性质,对于充分大的$k$,有
$${\mathbf{J}}_{n_i}^k\left({\lambda }_i\right)=\left[\begin{array}{ccccc}{\lambda }_i^k& \left(\begin{array}{c}k\\ 1\end{array}\right){\lambda }_i^{k-1}& \left(\begin{array}{c}k\\ 2\end{array}\right){\lambda }_i^{k-2}& \cdots & \left(\begin{array}{c}k\\ n_i-1\end{array}\right){\lambda }_i^{k-n_i+1}\\ 0& {\lambda }_i^k& \left(\begin{array}{c}k\\ 1\end{array}\right){\lambda }_i^{k-1}& \cdots & \left(\begin{array}{c}k\\ n_i-2\end{array}\right){\lambda }_i^{k-n_i+2}\\ ⋮& ⋮& \ddots & \ddots & ⋮\\ 0& 0& \dots & {\lambda }_i^k& \left(\begin{array}{c}k\\ 1\end{array}\right){\lambda }_i^{k-1}\\ 0& 0& \cdots & 0& {\lambda }_i^k\end{array}\right]$$
所以
$$\underset{k\to \infty }{\lim }{\mathbf{J}}_{n_i}^k=0\Rightarrow \underset{k\to \infty }{\lim }{\mathbf{J}}^k=0\Rightarrow \underset{k\to \infty }{\lim }{\mathbf{A}}^k=\underset{k\to \infty }{\lim }\mathbf{S}{\mathbf{J}}^k{\mathbf{S}}^{-1}=\mathbf{S}\left(\underset{k\to \infty }{\lim }{\mathbf{J}}^k\right){\mathbf{S}}^{-1}=0$$

定理3

设$\mathbf{A}\in {\mathbb{C}}^{n\times n}$,若对于矩阵$\mathbf{A}$的某一范数有$\Vert \mathbf{A}\Vert <1$,则
$$\underset{k\to +\infty }{\lim }{\mathbf{A}}^k=0$$
证明：因为$\Vert {\mathbf{A}}^k\Vert \le \Vert \mathbf{A}{\Vert }^k$,因为$\Vert \mathbf{A}\Vert <1$,所以
$$\underset{k\to +\infty }{\lim }\Vert {\mathbf{A}}^k\Vert =0\Rightarrow \underset{k\to +\infty }{\lim }\Vert {\mathbf{A}}^k-0\Vert =0\Rightarrow \underset{k\to +\infty }{\lim }{\mathbf{A}}^k=0$$

定理4

$\underset{k\to \infty }{\lim }{\mathbf{A}}^{(k)}=0$的充要条件是
$$\underset{k\to \infty }{\lim }{\mathbf{A}}^{(k)}\mathbf{x}=0,\forall \mathbf{x}\in {\mathbb{R}}^n$$

证明：
对于任意诱导范数
$$\Vert {\mathbf{A}}^{(k)}\mathbf{x}||\le \Vert {\mathbf{A}}^{(k)}\Vert \Vert \mathbf{x}\Vert$$

必要性：
如果$\underset{k\to \infty }{\lim }{\mathbf{A}}^{(k)}=0$,则$\underset{k\to \infty }{\lim }\Vert {\mathbf{A}}^{(k)}\Vert =0$
$\forall \mathbf{x}\in {\mathbb{R}}^n,\underset{k\to \infty }{\lim }\Vert {\mathbf{A}}^{(k)}\mathbf{x}\Vert =0\Rightarrow \underset{k\to \infty }{\lim }{\mathbf{A}}^{(k)}\mathbf{x}=0$

充分性：
$$\underset{k\to \infty }{\lim }{\mathbf{A}}^{(k)}{\mathbf{e}}_j=0$$
也就是说第$j$列元素的极限均为0，故$\underset{k\to \infty }{\lim }{\mathbf{A}}^{(k)}=0$

摸了，后面的等用到了再说

矩阵级数

矩阵函数

参考：
矩阵论·第2版 (方保镕，周继东，李医民) （z-library就有）