矩阵分析：矩阵序列，矩阵级数，矩阵函数，微积分，函数应用

最新推荐文章于 2023-11-11 16:41:15 发布

燕双嘤

最新推荐文章于 2023-11-11 16:41:15 发布

阅读量6.5k

点赞数 6

分类专栏：矩阵论/数理逻辑文章标签：矩阵

本文链接：https://blog.csdn.net/qq_42192693/article/details/122251621

版权

矩阵论/数理逻辑专栏收录该内容

15 篇文章 14 订阅

订阅专栏

1，矩阵序列

1.1，矩阵序列

设 $\small \mathbb{C}^{m\times n}$ 中的矩阵序列 $\small \left \{ A^{(k)} \right \}$ ，其中 $\small A^{(k)}=(a_{ij}^{(k)})_{m\times n}$ 。若：

$\small \underset{k\rightarrow +\infty }{lim}a_{ij}^{(k)}=a_{ij},i=1,2,...,m;j=1,2,...,n;$

则称矩阵序列 $\small \left \{ A^{(k)} \right \}$ 收敛于 $\small A=(a_{ij})_{m\times n}$ ，或称 $\small A$ 为矩阵序列 $\small \left \{ A^{(k)} \right \}$ 的极限，记为：

$\small \underset{k\rightarrow \infty }{lim}A^{(k)}=A$ 或 $\small A^{(k)}\rightarrow A(k\rightarrow +\infty )$

（1）不收敛的矩阵序列称为发散。

（2）矩阵序列收敛的本质是矩阵的所有元素都收敛。

（3） $\small \mathbb{C}^{n\times n}$ 上一个矩阵序列的收敛相当于 $\small mn$ 个数列同时收敛。

（4）用初等分析法太繁琐。

（5）与向量序列一样，可以利用矩阵范数来研究矩阵序列的收敛问题。

设 $\small A^{(k)},A\in\mathbb{C}^{m\times n}(k=0,1,2,...)$ ，则：

$\small \underset{k\rightarrow \infty }{lim}A^{(k)}=A\Leftrightarrow \underset{k\rightarrow \infty }{lim}||A^{(k)}-A||=0$

其中 $\small ||\cdot||$ 是 $\small \mathbb{C}^{m\times n}$ 上的任一矩阵范数。

证明：

$\small \underset{k\rightarrow +\infty }{lim}A^{(k)}=A\Leftrightarrow \underset{k\rightarrow +\infty }{lim}||A^{(k)}-A||_G=0\Leftrightarrow \underset{k\rightarrow +\infty }{lim}||A^{(k)}-A||=0$

当矩阵序列收敛时，矩阵序列的任意范数也收敛，反之不成立。

设 $\small A^{(k)},A\in\mathbb{C}^{m\times n}(k=0,1,2,...),\underset{k\rightarrow +\infty }{lim}A^{(k)}=A$ ，则：

$\small \underset{k\rightarrow +\infty }{lim}||A^{(k)}||=||A||$

其中 $\small ||\cdot||$ 是 $\small \mathbb{C}^{m\times n}$ 上的任一矩阵范数。

收敛的矩阵序列的性质：

设 $\small \underset{k\rightarrow +\infty }{lim}A^{(k)}=A,\underset{k\rightarrow +\infty }{lim}B^{(B)}=B,A^{(k)},B^{(k)},A,B$ 为适当阶的矩阵， $\small s.t\in \mathbb{C}$ ，则：

（1） $\small \underset{k\rightarrow +\infty }{lim}(sA^{(k)}+tB^{(k)})=sA+tB$

（2） $\small \underset{k\rightarrow +\infty }{lim}(A^{(k)}B^{(k)})=AB$

（3）当 $\small A^{(k)}$ 和 $\small A$ 均可逆时， $\small \underset{k\rightarrow +\infty }{lim}(A^{(k)})^{-1}=A^{-1}$

证明： $\small A^{(k)}$ 可逆不能保证 $\small A$ 可逆

$\small A^{(k)}=\begin{bmatrix} 1+\frac{1}{k} & 1\\ 1 & 1 \end{bmatrix}\rightarrow A=\begin{bmatrix} k &-k \\ -k &k+1 \end{bmatrix}$

对每一个 $\small A^{(k)}$ 都有可逆矩阵 $\small (A^{k})^{-1}=\begin{bmatrix} k &-k \\ -k & k+1 \end{bmatrix}$ ，但 $\small A$ 不可逆。

1.2，幂收敛矩阵

设 $\small A\in \mathbb{C}^{n\times n}$ ，若 $\small \underset{k\rightarrow +\infty }{lim}A^k=0$ ，则称 $\small A$ 为收敛矩阵。

设 $\small A\in \mathbb{C}^{n\times n}$ ，则 $\small A$ 是收敛矩阵的充要条件是 $\small \rho(A)<1$ 。

设 $\small A\in \mathbb{C}^{n\times n}$ ，若对 $\small \mathbb{C}^{n\times n}$ 上的某个矩阵范数 $\small ||\cdot||$ 有 $\small ||A||<1$ ，则 $\small A$ 为收敛矩阵。

借助矩阵的谱半径或矩阵的范数来判断矩阵是否收敛。

【例1】判断下列矩阵是否为收敛矩阵

$\small A=\frac{1}{6}\begin{bmatrix} 1 &-8 \\ -2 &1 \end{bmatrix}$

可求得 $\small \rho(A)=\frac{5}{6}<1$ ，故 $\small A$ 是收敛矩阵。

$\small A=\begin{bmatrix} 0.2 & 0.1& 0.2\\ 0.5 &0.5 &0.4 \\ 0.1& 0.3 & 0.2 \end{bmatrix}$

因为 $\small ||A||_1=0.9<1$ ，故 $\small A$ 是收敛矩阵。

2，矩阵级数

2.1，矩阵级数

由 $\small \mathbb{C}^{m\times n}$ 中的矩阵序列 $\small \left \{ A^{(k)} \right \}$ 构成的无穷和：

$\small A^{(0)}+A^{(1)}+...+A^{(k)}+...$

称为矩阵级数，记为 $\small \sum_{k=0}^{+\infty }A^{(k)}$ ，对任一正整数 $\small N$ ，称为矩阵级数，记为 $\small \sum_{k=0}^{+\infty }A^{(k)}$ 。

对任一正整数 $\small N$ ，称 $\small S^{(N)}=\sum_{k=0}^NA^{(k)}$ 为矩阵级数的部分和，如果由部分和构成的矩阵序列 $\small \left \{ S^{(N)} \right \}$ 收敛，且有极限 $\small S$ ，即 $\small \underset{k\rightarrow \infty }{lim}S^{(k)}=S$ ，则称矩阵级数 $\small \sum_{k=0}^{+\infty }A^{k}$ 收敛，

且有和 $\small S$ ，记为 $\small S=\sum_{k=0}^{+\infty }A^{(k)}$ 不收敛的矩阵级数称为发散的。

如果记由 $\small A^{(k)}=(a_{ij}^{(k)})_{m\times n},S=(s_{ij})_{m\times n}$ ，显然 $\small S=\sum_{k=0}^{+\infty }A^{(k)}$ 相当于

$\small \sum_{k=0}^{+\infty }a_{ij}^{(k)}=s_{ij}(i=1,2,...,m;j=1,2,...,n)$ ，即 $\small mn$ 个数项级数都收敛。

【例1】已知 $\small A^{(k)}=\begin{bmatrix} \frac{1}{2^k} &\frac{\pi}{4^k} \\ 0 &\frac{1}{(k+1)(k+2)} \end{bmatrix}(k=0,1,...)$ ，研究矩阵级数 $\small \sum_{k=0}^{+\infty }A^{(k)}$ 的敛散性。

因为 $\small S^{(N)}=\sum_{k=0}^{N}A^{(k)}=\begin{bmatrix} \sum_{k=0}^{N}\frac{1}{2^k} & \sum_{k=0}^{N}\frac{\pi}{4^k} \\ 0 &\sum_{k=0}^{N}\frac{1}{(k+1)(k+2)} \end{bmatrix}=\begin{bmatrix} 2-\frac{1}{2^N} &\frac{\pi}{3}(4-\frac{1}{4^N}) \\ 0 & 1-\frac{1}{N+2} \end{bmatrix}$

所以 $\small S=\underset{N\rightarrow +\infty }{lim}S^{(N)}=\begin{bmatrix} 2 & \frac{4\pi}{3}\\ 0&1 \end{bmatrix}$

故所给矩阵级数收敛，且和为 $\small S$ 。

设 $\small A^{(k)}=(a_{ij}^{(k)})_{m\times n}\in \mathbb{C}^{m\times n}(k=0,1,...)$ ，如果 $\small mn$ 个数项级数 $\small \sum_{k=0}^{+\infty }a_{ij}^{(k)}(i=1,2,...,m;j=1,2,...,n)$ 都绝对收敛，即 $\small \sum_{k=0}^{+\infty }|a_{ij}^{(k)}|$ 都收敛，则称矩阵级数 $\small \sum_{k=0}^{+\infty }A^{(k)}$ 绝对收敛。

利用矩阵范数，可以将判定矩阵级数的绝对收敛问题转化为判定正项级数是否收敛的问题。

设 $\small A^{(k)}=(a_{ij}^{(k)})_{m\times n}\in \mathbb{C}^{m\times n}(k=0,1,...)$ ，则矩阵级数 $\small \sum_{k=0}^{+\infty }A^{(k)}$ 绝对收敛的充分必要条件是正项级数 $\small \sum_{k=0}^{+\infty }A^{(k)}$ 绝对收敛的充分必要条件是正项级数 $\small \sum_{k=0}^{+\infty }||A^{(k)}||$ 收敛，其中 $\small ||\cdot||$ 是 $\small \mathbb{C}^{m\times n}$ 上任一矩阵范数。

矩阵级数性质：设 $\small \sum_{k=0}^{+\infty }A^{(k)}=A,\sum_{k=0}^{+\infty }B^{(k)}=B$ ，其中 $\small A^{(k)},A^{(k)},A,B$ 是适当阶的矩阵，则：

（1） $\small \sum_{k=0}^{+\infty }(cA^{(k)}+dB^{(k)})=cA+dB,\forall c,d\in \mathbb{C}$

（2）绝对收敛的矩阵级数必收敛，并且任一调换其项的顺序所得的矩阵级数仍收敛，且其和不变。

（3）若矩阵级数 $\small \sum_{k=0}^{+\infty }A^{(k)}$ 收敛（或绝对收敛），则矩阵级数 $\small \sum_{k=0}^{+\infty }PA^{(k)}Q$ 也收敛（或绝对收敛），并且有： $\small \sum_{k=0}^{+\infty }PA^{(k)}Q=PAQ$ 。

（4）若 $\small \sum_{k=0}^{+\infty }A^{(k)}$ 和 $\small \small \sum_{k=0}^{+\infty }B^{(k)}$ 均绝对收敛，则它们的项数相乘所得的矩阵级数：

$\small A^{(0)}B^{(0)}+(A^{(0)}B^{(1)}+A^{(1)}B^{(0)})+...+(A^{(0)}B^{(k)}+A^{(1)}B^{(k-1)}+...+A^{(k)}B^{(0)})+...$

也绝对首先，且其和为 $\small AB$ 。

2.2，矩阵幂级数

设 $\small A\in \mathbb{C}^{n\times n}$ ， $\small a_k \in \mathbb{C}(k=0,1,...)$ ，称矩阵级数 $\small \sum_{k=0}^{+\infty }a_kA^k$ 为矩阵 $\small A$ 的幂级数。

（1）利用定义判断矩阵幂级数的收敛性很不方便。

（2）矩阵幂级数是复变量 $z$ 的幂级数 $\small \sum_{k=0}^{+\infty }a_kz^k$ 的推广。如果幂级数 $\small \sum_{k=0}^{+\infty }a_kz^k$ 的收敛半径为 $\small r$ ，则对收敛圆 $\small |z|<r$ 内的所有 $z$ ， $\small \sum_{k=0}^{+\infty }a_kz^k$ 都是绝对收敛的。因此，讨论 $\small \small \sum_{k=0}^{+\infty }a_kA^k$ 的敛散性问题可以自然的联系到 $\small \sum_{k=0}^{+\infty }a_kz^k$ 的收敛半径。

设幂级数 $\small \sum_{k=0}^{+\infty }a_kz^k$ 的收敛半径为 $\small r$ ， $\small A\in\mathbb{C}^{n\times n}$ ，则：

（1）当 $\small \rho(A)<r$ 时，矩阵幂级数 $\small \sum_{k=0}^{+\infty }a_kA^k$ 绝对收敛。

（2）当 $\small \rho(A)>r$ 时，矩阵幂级数 $\small \sum_{k=0}^{+\infty }a_kA^k$ 发散。

推论：设幂级数 $\small \sum_{k=0}^{+\infty }a_kz^k$ 的收敛半径是 $\small r$ ， $\small A\in \mathbb{C}^{n\times n}$ ，若存在 $\small \mathbb{C}^{n\times n}$ 上的某个矩阵范数 $\small ||\cdot||$ 使得 $\small ||A||<r$ ，则矩阵幂级数 $\small \sum_{k=0}^{+\infty }a_kA^k$ 绝对收敛。

【例2】判断矩阵幂级数 $\small \sum_{k=0}^{+\infty }\frac{k}{6^k}\begin{bmatrix} 1 &-8 \\ -2& 1 \end{bmatrix}^k$ 的敛散性。

令 $\small A=\frac{1}{6}\begin{bmatrix} 1 &-8 \\ -2& 1 \end{bmatrix}^k$ ，可求得 $\small \rho(A)=\frac{5}6{}$ ，由于幂级数收敛半径 $\small r=1$ ，所以 $\small A$ 收敛。

收敛半径： $\small R=\underset{k\rightarrow +\infty }{lim}\frac{|a_{k+1}|}{|a_k|}=\underset{k\rightarrow +\infty }{lim}|a_k|^{\frac{1}{k}}=\frac{1}{r}$

2.3，Neumann级数

设 $\small A\in \mathbb{C}^{n \times n}$ ，矩阵幂级数 $\small \sum_{k=0}^{+\infty }A^k$ （称为Neumann级数）收敛 $\small \Leftrightarrow$ $\small \rho(A)<1$ ，并且在收敛时其和为 $\small (I-A)^{-1}$ 。

【例3】已知 $\small A=\begin{bmatrix} 0.2 & 0.1 &0.2 \\ 0.5& 0.5 &0.4 \\ 0.1& 0.3 & 0.2 \end{bmatrix}$ ，判定矩阵幂级数 $\small \sum_{k=0}^{+\infty }A^k$ 的收敛性，试求其和。

因为 $\small ||A||_1=0.9<1$ ，所以 $\small \sum_{k=0}^{+\infty }A^k$ 收敛，且

$\small \sum_{k=0}^{+\infty }A^k=(I-A)^{-1}=\frac{1}{14}\begin{bmatrix} 28 &14 &14 \\ 44& 62 &62 \\ 20& 25&35 \end{bmatrix}$

3，矩阵函数

3.1，矩阵函数的概念

设幂级数 $\small \sum_{k=0}^{+\infty }a_kz^k$ 的收敛半径为 $\small r$ ，且当 $\small |z|<r$ 时，幂级数收敛于函数 $\small f(z)$ ，即：

$\small f(z)=\sum_{k=0}^{+\infty }a_kz^k(|z|<r)$

如果 $\small A\in \mathbb{C}^{n\times n}$ 满足 $\small \rho(A)<r$ ，则称收敛的矩阵幂级数 $\small \sum_{k=0}^{+\infty }a_kA^k$ 的和为矩阵函数，记为： $\small f(A)$ ，即

$\small f(A)=\sum_{k=0}^{+\infty }a_kA^k$

常见矩阵函数：

$\small sinA=\sum_{k=0}^{+\infty }\frac{(-1)^k}{(2k+1)!}A^{2k+1}(\forall A\in \mathbb{C}^{n\times n})$
$\small cosA=\sum_{k=0}^{+\infty }\frac{(-1)^k}{(2k)!}A^{2k}(\forall A\in \mathbb{C}^{n\times n})$
$\small (I-A)^{-1}=\sum_{k=0}^{+\infty }A^k(\rho(A)<1)$
$\small In(I+A)=\sum_{k=0}^{+\infty }\frac{(-1)^k}{k+1}A^{k+1}(\rho(A)<1)$

如果把矩阵函数 $\small f(A)$ 的变元 $\small A$ 换成 $\small At$ 其中 $\small t$ 为参数，则相应得到：

$\small f(At)=\sum_{k=0}^{+\infty }a_k(At)^k$

3.2，矩阵函数的计算

方法一：利用Hamilton-Cayley定理：利用Hamilton-Cayley定理找出矩阵方幂之间的关系，然后化简矩阵幂级数，求出矩阵函数的值。

【例4】已知 $\small A=\begin{bmatrix} 0 &1 \\ -1 & 0 \end{bmatrix}$ ，求 $\small e^{At}$ 。

$\small det(\lambda I-A)=\lambda^2+1$ ，由Hamilton-Cayley定理知 $\small A^2=-I$

$\small A^{2k}=(-1)^kI,A^{2k+1}=(-1)^kA,(k=1,2,...)$

$\small e^{At}=\sum_{k=0}^{+\infty }\frac{1}{k!}(At)^k=(1-\frac{t^2}{2!}+\frac{t^4}{4!}+...)I+(t-\frac{t^3}{3!}+\frac{t^5}{5!}+...)A$

$\small =(cost)I+(sint)A=\begin{bmatrix} cost & sint\\ -sint & cost \end{bmatrix}$

【例5】已知 $\small 4$ 阶矩阵 $\small A$ 的特征值为 $\small \pi,-\pi,0,0$ ，求 $\small sinA,cosA$

由于 $\small det(\lambda I-A)=(\lambda -\pi)(\lambda+\pi)\lambda^2$ ，因此 $\small A^4=\pi^2A^2$

进而 $\small A^{2k}=\pi^{2k-2}A^2,A^{2k+1}=\pi^{2k-2}A^3,(k=2,3,...)$

$\small sinA=\sum_{k=0}^{+\infty }\frac{(-1)^k}{(2k+1)!}A^{2k+1}=A-\frac{A^3}{3!}+\sum_{k=2}^{+\infty }\frac{(-1)^k}{(2k+1)!}\pi^{2k-2}A^3$

$\small =A-\frac{A^3}{3!}+\frac{A^3}{\pi^3}\sum_{k=2}^{+ \infty }\frac{(-1)^k}{(2k+1)!}\pi^{2k+1}$

$\small =A-\frac{A^3}{3!}+\frac{A^3}{\pi^3}(sin\pi-\pi+\frac{\pi^3}{3!})=A-\frac{A^3}{\pi^2}$

$\small cosA=\sum_{k=0}^{+\infty }\frac{(-1)^k}{(2k)!}A^{2k}=A-\frac{A^2}{2!}+\sum_{k=2}^{+\infty }\frac{(-1)^k}{(2k)!}\pi^{2k-2}A^2$

$\small =A-\frac{A^2}{2!}+\frac{A^2}{\pi^2}\sum_{k=2}^{+ \infty }\frac{(-1)^k}{(2k)!}\pi^{2k}$

$\small =A-\frac{A^2}{2!}+\frac{A^2}{\pi^2}(cos\pi-1+\frac{\pi^2}{2!})=I-\frac{A^2}{\pi^2}$

方法而：利用相似对角化：已知 $\small A\in \mathbb{C}^{n\times n}$ 是可对角化的，计算函数 $\small f(A)=\sum_{k=0}^{+\infty }a_kA^k$ ，由于 $\small A$ 可对角化，即存在 $\small P\in\mathbb{C}^{n\times n}_n$ ，使得

$\small P^{-1}AP=\Lambda =diag(\lambda_1,\lambda_2,...,\lambda_n)$

则有：

$\small f(A)=\sum_{k=0}^{+\infty }a_kA^k=\sum_{k=0}^{+\infty }a_k(P\Lambda P^{-1})^k=P(\sum_{k=0}^{+\infty }a_k\Lambda^k)P^{-1}$

$\small =Pdiag(\sum_{k=0}^{+\infty }a_k\lambda_1^k,\sum_{k=0}^{+\infty }a_k\lambda_2^k,...,\sum_{k=0}^{+\infty }a_k\lambda_n^k)P^{-1}$

$\small =Pdiag(f(\lambda_1),f(\lambda_2),...,f(\lambda_n))P^{-1}$

同理可证： $\small f(At)=Pdiag(f(\lambda_1t),f(\lambda_2t),...,f(\lambda_nt))P^{-1}$

【例6】已知 $\small A=\begin{bmatrix} 4 &6 &0 \\ 1& 1 & 0\\ 1 &1 & 1 \end{bmatrix}$ ，求 $\small e^{At}$ ， $\small cosA$ 。

通过计算特征多项式和特征向量可得：

$\small P=\begin{bmatrix} -1 &-2 &0 \\ 1& 1 & 0\\ 1 &0 &1 \end{bmatrix}$ ， $\small P^{-1}AP=\Lambda =\begin{bmatrix} -2 &0 &0 \\ 0& 1 & 0\\ 0& 0 &1 \end{bmatrix}$

故 $\small e^{At}=P\begin{bmatrix} e^{-2t} & & \\ & e^t & \\ & & e^t \end{bmatrix}P^{-1}=\begin{bmatrix} 2e^t-e^{-2t} & 2e^t-2e^{-2t} &0 \\ e^{-2t}-e^t & 2e^{-2t}-e^t& 0\\ e^{-2t}-e^t& 2e^{-2t}-2e^t & e^t \end{bmatrix}$

$\small cosA=P\begin{bmatrix} cos(-2) & & \\ & cos1 & \\ & & cos1 \end{bmatrix}P^{-1}=\begin{bmatrix} 2cos1-cos2 & 2cos1-2cos2&0\\ cos2-cos1 &2cos2-cos1 &0 \\ cos2-cos1 &2cos2-2cos1 & cos1 \end{bmatrix}$

方法三：利用Jordan标准形：设 $\small A\in \mathbb{C}^{n\times n}$ ，则存在 $\small P\in \mathbb{C}^{n \times n}_n$ ，使得

$\small P^{-1}AP=J=\begin{bmatrix} J_{r_1}(\lambda_1) & & & \\ &J_{r_2}(\lambda_2) & & \\ & & ...& \\ & & & J_{r_s}(\lambda_s) \end{bmatrix}$

其中 $\small J_{r_1}(\lambda_i)$ 是特征值 $\small \lambda_i$ 对应的Jordan块。

$\small f(At)=\sum_{k=0}^{+\infty }a_k(At)^k=\sum_{k=0}^{+\infty }a_kt^k(PJP^{-1})^k=P(\sum_{k=0}^{+\infty }a_kt^kJ^k)P^{-1}$

$\small =Pdiag(f(J_{r_1}(\lambda_1)t),f(J_{r_2}(\lambda_2)t),...,f(J_{r_s}(\lambda_s)t))P^{-1}$

$\small f(J_{r_i}(\lambda_i)t\begin{bmatrix} f(\lambda)& \frac{t}{1!} f'(\lambda)&... &\frac{t^{r_i-1}}{(r_i-1)!} f^{(r_i-1)}(\lambda) \\ & f(\lambda) &... &... \\ & & ...& \frac{t}{1!} f'(\lambda) \\ & & & f(\lambda) \end{bmatrix}$

设 $\small A\in \mathbb{C}^{n\times n}$ ， $\small \lambda_1,\lambda_2,...,\lambda_n$ 是 $\small A$ 的 $\small n$ 个特征值，则矩阵函数 $\small f(A)$ 的特征值为：

$\small f(\lambda_1),f(\lambda_2),...,f(\lambda_n)$

【例7】已知 $\small A=\begin{bmatrix} -1 &0 &1 \\ 1& 2& 0\\ -4 &0 &3 \end{bmatrix}$ ，求 $\small e^A,sin(At)$ 。

通过计算特征多项式和特征向量可得：

$\small P=\begin{bmatrix} 1 &0 &0 \\ -1& -1 & 1\\ 2 & 1 &0 \end{bmatrix},P^{-1}AP=J=\begin{bmatrix} 1 &1 &0 \\ 0 & 1 & 0\\ 0 & 0 & 2 \end{bmatrix}$

故 $\small e^{A}=P\begin{bmatrix} e &e &0 \\ 0& e& 0\\ 0&0 &e^2 \end{bmatrix}P^{-1}=\begin{bmatrix} -e &0 &e \\ 3e-e^2 & e^2 & -2e+e^2\\ -4e &0 &3e \end{bmatrix}$

$\small sin(At)=P\begin{bmatrix} sint & tcost &0 \\ 0&sint & 0\\ 0 & 0 & sin2t \end{bmatrix}P^{-1}$

方法四：待定系数法：用待定系数法求矩阵函数 $\small f(At)$ 或 $\small f(A)$ 的步骤如下：

（1）求矩阵 $\small A$ 的特征多项式。

（2）设 $\small r(\lambda)=b_{n-1}\lambda^{n-1}+...+b_1\lambda+b_0$ ，根据 $\small r^{(j)}(\lambda_i)=t^jf^{(j)}(\mu)|_{\mu=\lambda_it}$ 或 $\small r^{(j)}=f^{(j)}(\lambda_i)$ ， $\small (j=0,1,...,r_i-1;i=1,2,...,s)$ ，列方程组求解 $\small b_0,b_1,...,b_{n-1}$ 。

（3）计算 $\small f(At)$ 或 $\small f(A)$ = $\small b_{n-1}(t)A^{n-1}+...+b_1(t)A+b_0(t)I$

【例8】已知 $\small A=\begin{bmatrix} -1 &0 &1 \\ 1 &2 &0 \\ -4 &0 &3 \end{bmatrix}$ ，求 $\small e^{At},cos A$ 。

可求得 $\small det(\lambda I-A)=(\lambda-1)^2(\lambda-2)$ ，设 $\small r(\lambda)=b_2\lambda^2+b_1\lambda+b_0$

则由 $\small \left\{\begin{matrix} r(1)=b_2+b_1+b_0=e^t\\ r'(1)=2b_2+b_1=te^t\\ r(2)=4b_2+2b_1+b_0=e^{2t} \end{matrix}\right.\Rightarrow \left\{\begin{matrix} b_2=e^{2t}-e^t-te^t\\ b_1=-2e^{2t}+2e^t+3te^t\\ b_0=e^{2t}-2te^t \end{matrix}\right.$

$\small e^{At}=b_2A^2+b_1A+b_0I=\begin{bmatrix} e^{2t}-2te^t & 0&te^t \\ -e^{2t}+e^t+2te^t& e^{2t}&e^{2t}-e^t-te^t \\ -4te^t &0 & 2te^t+e^t \end{bmatrix}$

同理 $\small \left\{\begin{matrix} r(1)=b_2+b_1+b_0=cos1\\ r'(1)=2b_2+b_1=-sin1\\ r(2)=4b_2+2b_1+b_0=cos2 \end{matrix}\right.\Rightarrow \left\{\begin{matrix} b_2=sin1-cos1+cos2\\ b_1=-3sin1+2cos1-2cos2\\ b_0=2sin1+cos2 \end{matrix}\right.$

$\small cosA=\begin{bmatrix} 2sin1+cos2& 0& -sin1\\ -cos2+cos1-2sin1& cos2 &cos2-cos1+sin1 \\ 4sin1 & 0 & -2sin1+cos1 \end{bmatrix}$

如果求得次数比矩阵 $\small A$ 特征多项式低的零化多项式——最小多项式

则计算矩阵函数就更容易一些。

【例9】已知 $\small A=\begin{bmatrix} 3 &1 &-1 \\ -2 & 0& 2\\ -1& -1 &3 \end{bmatrix}$ ，求 $\small e^{At},sinA$ 。

可求得 $\small A$ 的Jordan标准形为 $\small J=\begin{bmatrix} 2 & 0 &0 \\ 0 & 2 &1 \\ 0&0 & 2 \end{bmatrix}$

于是 $\small A$ 的最小多项式为 $\small m_A(\lambda)=(\lambda-2)^2$

设 $\small r(\lambda)=b_1\lambda+b_0$

由 $\small \left\{\begin{matrix} r(2)=2b_1+b_0=e^{2t}\\ r'(2)=b_1=te^{2t} \end{matrix}\right.\Rightarrow \left\{\begin{matrix} b_1=te^{2t}\\ b_0=(1-2t)e^{2t} \end{matrix}\right.$

于是 $\small e^{At}=b_1A+b_0I=e^{2t}\begin{bmatrix} 1+t & t &-t \\ -2t &1-2t &2t \\ -t &-t &1+t \end{bmatrix}$

又由于 $\small \left\{\begin{matrix} r(2)=2b_1+b_0=sin2\\ r'(2)=b_1=cos2 \end{matrix}\right.\Rightarrow \left\{\begin{matrix} b_1=cos2\\ b_0=sin2-2cos2 \end{matrix}\right.$

故 $\small sinA=b_1A+b_0I=\begin{bmatrix} sin2+cos2 & cos2 & -cos2\\ -2cos2 & sin2-2cos2 &2cos2 \\ -cos2 &-cos2 & sin2+cos2 \end{bmatrix}$

3.3，矩阵函数的性质

常见的矩阵函数有 $\small e^A,sinA,cosA$ ，它们有些性质与普通的指数函数和三角函数相同；有些性质与一般指数函数和三角函数不同，这是由于矩阵乘法不满足交换律。

对任意 $\small A\in \mathbb{C}^{n\times n}$ ，总有：

（1） $\small sin(-A)=-sinA$ ， $\small cos(-A)=cosA$

（2） $\small e^{iA}=cosA+isinA$ ， $\small cosA=\frac{1}{2}(e^{iA}+e^{-iA})$ ， $\small sinA=\frac{1}{2i}(e^{iA}-e^{-iA})$

对任意 $\small A,B\in \mathbb{C}^{n\times n}$ ，且 $\small AB=BA$ ，则：

（1） $\small e^{A+B}=e^Ae^B=e^Be^A$

（2） $\small sin(A+B)=sinAcosB+cosAsinB;cos(A+B)=cosAcosB-sinAsinB$

（3） $\small sin(2A)=2sinAcosA;cos(2A)=cos^2A-sin^2A$

对任意 $\small A\in \mathbb{C}^{n\times n}$ ，则有：

（1） $\small dete^A=e^{trA};(e^A)^{-1}=e^{-A}$

4，矩阵的微分和积分

4.1，函数矩阵的微分和积分

设以变量 $t$ 的函数为元素的矩阵 $\small A(t)=(a_{ij}(t))_{m\times n}$ 称为函数矩阵，其中 $\small a_{ij}(t)(i=1,2,...,m;j=1,2,...,n)$ 都是变量 $\small t$ 的函数。

（1）若 $\small t\in[a,b]$ ，则称 $\small A(t)$ 是定义在 $\small [a,b]$ 上的。

（2）又若每个 $\small a_{ij}(t)$ 在 $\small [a,b]$ 上连续、可微、可积，则称 $\small A(t)$ 在 $\small [a,b]$ 上连续、可微、可积的。

（3）当 $\small A(t)$ 可微时，规定其导数为： $\small \frac{d}{dt}A(t)=(\frac{d}{dt}a_{ij}(t))_{m\times n}$

（4）当 $\small A(t)$ 在 $\small [a,b]$ 上可积时，规定 $\small A(t)$ 在 $\small [a,b]$ 上积分为： $\small \int_{a}^{b}A(t)dt=(\int_{a}^{b}a_{ij}(t)dt)_{m\times n}$

【例10】求函数矩阵 $\small A(t)=\begin{bmatrix} sint &cost &t \\ 2^t & e^t &t^2 \\ 0 &1 & t^3 \end{bmatrix}$ 的导数

$\small \frac{d}{dt}A(t)=(\frac{d}{dt}a_{ij}(t))=\begin{bmatrix} cost & -sint & 1\\ 2^tln2 & e^t &2t \\ 0 & 0 & 3t^2 \end{bmatrix}$

设 $\small A(t)$ 与 $\small B(t)$ 为适当阶的可微矩阵，则：

（1） $\small \frac{d}{dt}(A(t)+B(t))=\frac{d}{dt}(A(t))+\frac{d}{dt}(B(t))$

（2）当 $\small \lambda(t)$ 是可微函数时，有 $\small \frac{d}{dt}(\lambda(t)A(t))=(\frac{d}{dt}\lambda(t))A(t)+\lambda(t)\frac{d}{dt}(A(t))$

（3） $\small \frac{d}{dt}(A(t)B(t))=\frac{d}{dt}(A(t))B(t)+A(t)\frac{d}{dt}(B(t))$

（4）当 $\small u=f(t)$ 关于 $\small t$ 可微时，有 $\small \frac{d}{dt}(A(u))=f'(t)\frac{d}{du}(A(u))$

（5）当 $\small A^{-1}(t)$ 是可微矩阵时，有 $\small \frac{d}{dt}(A^{-1}(t))=-A^{-1}(t)\frac{d}{dt}(A(t))A^{-1}(t)$

（6）由于 $\small \frac{d}{dt}A(t)$ 仍是函数矩阵，如果它仍是可导的，即可以定义其二阶导数。

（7）函数矩阵的高阶导数： $\small \frac{d^k}{dt^k}A(t)=\frac{d}{dt}\left ( \frac{d^{k-1}}{dt^{k-1}}A(t) \right )$

设 $\small A\in \mathbb{C}^{n\times n}$ ，则有（利用逐项求导的方法）

（1） $\small \frac{d}{dt}(e^{At})=Ae^{At}=e^{At}A$

（2） $\small \frac{d}{dt}(sin(At))=Acos(At)=cos(At)A$

（3） $\small \frac{d}{dt}(cos(At))=-Asin(At)=-sin(At)A$

设 $\small A(t)$ 与 $\small B(t)$ 是区间 $\small [a,b]$ 上适当阶的可积矩阵， $\small A,B$ 是适当阶的常数矩阵， $\small \lambda \in \mathbb{C}$ ，则：

（1） $\small \int_{a}^{b}(A(t)+B(t))dt=\int_{a}^{b}A(t)dt+\int_{a}^{b}B(t)dt$

（2） $\small \int_{a}^{b}(\lambda A(t))dt=\lambda\int_{a}^{b} A(t)dt$

（3） $\small \int_{a}^{b}(A(t)B)dt=(\int_{a}^{b} A(t)dt)B$ ， $\small \int_{a}^{b}(AB(t))dt=A(\int_{a}^{b} B(t)dt)$

（4）若 $\small A(t)$ 在区间 $\small [a,b]$ 上连续，则对任意 $\small t\in(a,b)$ ，有 $\small \frac{d}{dt}\int_{a}^{t}A(\tau )d\tau =A(t)$

（5）若 $\small A(t)$ 在区间 $\small [a,b]$ 上连续可微时，有 $\small \int_{a}^{b}A'(t)dt=A(b)-A(a)$

4.2，数量矩阵对矩阵变量的导数

设 $\small f(X)$ 是以矩阵 $\small X=(x_{ij})_{m\times n}$ 为自变量的 $\small mn$ 元函数，且 $\small \frac{\partial f}{\partial x_{ij}}(i=1,2,...,m;j=1,2,...,n)$ 都存在，规定 $\small f$ 对矩阵变量 $\small X$ 的导数为 $\small \frac{df}{dX}$ 为：

$\small \frac{df}{dX}=(\frac{\partial f}{\partial x_{ij}})_{m\times n}=\begin{bmatrix} \frac{\partial f}{\partial x_{11}} &... &\frac{\partial f}{\partial x_{1n}} \\ ... & & ...\\ \frac{\partial f}{\partial x_{m1}} & ...& \frac{\partial f}{\partial x_{mn}} \end{bmatrix}$

特别的，以 $\small x=(\xi_1,\xi_2,...,\xi_n)^T$ 为自变量的函数 $\small f(x)$ 的导数：

$\small \frac{df}{dx}=\left [ \frac{df}{d\xi _1},\frac{df}{d\xi _2},...,\frac{df}{d\xi _n} \right ]^T$

称为数量函数对向量变量的导数，记为 $\small gadf$ 。

设 $\small \alpha =(a _1,a_2,...,a _n)^T$ 是给定的向量， $\small x=(\xi_1,\xi_2,...,\xi_n)^T$ 为向量变量，且 $\small f(x)=\alpha ^Tx=x^T\alpha$ ，求 $\small \frac{df}{dx}$ 。

解：因为 $\small f(x)=a^Tx=\sum_{k=1}^na_k\xi_k$ ， $\small \frac{\partial f}{\partial \xi_j}=a_j(j=1,2,...,n)$

所以 $\small \frac{df}{dx}=\left [\frac{\partial f}{\partial \xi_1} ,\frac{\partial f}{\partial \xi_2} ,...,\frac{\partial f}{\partial \xi_n} \right ]^T=\left ( a_1,a_2,...,a_n \right )^T=\alpha$

设 $\small A=(a_{ij})_{m\times n}$ 是给定的矩阵， $\small X=(x_{ij})_{n\times m}$ 是矩阵变量，且 $\small f(X)=tr(AX)$ ，求 $\small \frac{df}{dX}$ 。

解：因为 $\small AX=(\sum_{k=1}^na_{ik}x_{kj})_{m\times m}$

所以 $\small f(X)=tr(AX)=\sum_{s=1}^m\sum_{k=1}^na_{sk}x_{ks}$

而 $\small \frac{\partial f}{\partial x_{ij}}=a_{ij}(i=1,2,...,n;j=1,2,...,n)$

故 $\small \frac{df}{dX}=\left ( \frac{\partial f}{\partial x_{ij}}\right )=(a_{ji})_{n\times m}=A^T$

设 $\small A=(a_{ij})_{n\times n}$ 是给定的矩阵， $\small x=(\xi_1,\xi_2,...,\xi_n)^T$ 是向量变量，且 $\small f(x)=x^TAx$ ，求 $\small \frac{df}{dx}$ 。

解：因为 $\small f(x)=x^TAx=\sum_{s=1}^n\xi_s\left ( \sum_{k=1}^na_{sk}\, \xi_k \right )$

所以 $\small \frac{\partial f}{\partial \xi_j}=\sum_{s=1}^na_{sj}\, \xi_s+\sum_{k=1}^na_{jk}\, \xi_k(j=1,2,...,n)$

所以 $\small \frac{df}{dx}=\begin{bmatrix} \frac{\partial f}{\partial \xi_1}\\ ...\\ \frac{\partial f}{\partial \xi_n} \end{bmatrix}=\begin{bmatrix} \sum_{s=1}^na_{s1}\, \xi_s+\sum_{k=1}^na_{1k}\, \xi_k\\ ...\\ \sum_{s=1}^na_{sn}\, \xi_s+\sum_{k=1}^na_{nk}\, \xi_k \end{bmatrix}=(A^T+A)x$

4.3，矩阵值函数对矩阵变量的导数

设矩阵 $\small F(X)=(f_{ij}(X))_{s\times t}$ 的元素 $\small f_{ij}(X)(i=1,2,...,s;j=1,2,...,t)$ 都是以矩阵变量 $\small X=(x_{ij})_{m\times n}$ 的函数，称 $\small F(X)$ 为矩阵值函数，规定 $\small F(X)$ 对矩阵变量 $\small X$ 的导数为 $\small \frac{dF}{dX}$ 。

$\small \frac{dF}{dX}=\begin{bmatrix} \frac{\partial F}{\partial x_{11}} &... &\frac{\partial F}{\partial x_{1n}} \\ ... & &... \\ \frac{\partial F}{\partial x_{m1}} & ... & \frac{\partial F}{\partial x_{mn}} \end{bmatrix}$ ，其中 $\small \frac{\partial F}{\partial x_{ij}}=\begin{bmatrix} \frac{\partial f_{11}}{\partial x_{ij}}&... & \frac{\partial f_{1t}}{\partial x_{ij}} \\ ...& &... \\ \frac{\partial f_{s1}}{\partial x_{ij}} &... & \frac{\partial f_{st}}{\partial x_{ij}} \end{bmatrix}$

其结果为 $\small (ms)\times (nt)$ 的矩阵。

设 $\small x=\left ( \xi_1, \xi_2,..., \xi_n \right )^T$ 为向量变量，求 $\small \frac{dx}{dx^T}$ 和 $\small \frac{dx^T}{dx}$ 。

由定义得， $\small \frac{dx}{dx^T}=\left ( \frac{\partial x}{\partial \xi_1},\frac{\partial x}{\partial \xi_2},...,\frac{\partial x}{\partial \xi_n} \right )=I_n$

类似由定义得， $\small \frac{dx^T}{dx}=\begin{bmatrix} \frac{\partial x^T}{\partial \xi_1}\\ ...\\ \frac{\partial x^T}{\partial \xi_n} \end{bmatrix}=I_n$

5，矩阵分析应用举例

5.1，一阶常系数线性微分方程组

有常系数微分方程组

$\small \left\{\begin{matrix} \frac{dx_1(t)}{dt}=a_{11}x_1(t)+a_{12}x_2(t)+...+a_{1n}x_n(t)+f_1(t)\\ \frac{dx_2(t)}{dt}=a_{21}x_1(t)+a_{22}x_2(t)+...+a_{2n}x_n(t)+f_2(t)\\ ...\\ \frac{dx_n(t)}{dt}=a_{n1}x_1(t)+a_{n2}x_2(t)+...+a_{nn}x_n(t)+f_n(t) \end{matrix}\right.$

满足初始条件 $\small x_i(t_0)=c_i(i=1,2,...,n)$ 的解。

$\small A=(a_{ij})_{n\times n}$ ， $\small c=\begin{bmatrix} c_1\\ c_2\\ ...\\ c_n \end{bmatrix}$ ， $\small x(t)=\begin{bmatrix} x_1(t)\\ x_2(t)\\ ...\\ x_n(t) \end{bmatrix}$ ， $\small f(t)=\begin{bmatrix} f_1(t)\\ f_2(t)\\ ...\\ f_n(t) \end{bmatrix}$

则上述微分方程组可写为：

$\small \left\{\begin{matrix} \frac{dx(t)}{dt}=Ax(t)+f(t)\\ x(t_0)=c \end{matrix}\right.$

通过常数变异法来求解

因为 $\small \frac{d}{dt}(e^{-At}x(t))=e^{-At}(-A)x(t)+e^{-At}\frac{dx(t)}{dt}=e^{-At}f(t)$

在 $\small [t_0,t]$ 上积分，得

$\small \int_{t_0}^{t}\frac{d}{d\tau }(e^{-A\tau }x(\tau))d \tau =\int_{t_0}^{t}e^{-A\tau}f(\tau)d\tau$

于是微粉刺方程组的解为： $\small x(t)=e^{A(t-t_0)}c+e^{At}\int_{t_0}^{t}e^{-A\tau }f(\tau )d\tau$

【例11】求解微分方程组初值问题。

$\small \left\{\begin{matrix} \frac{dx_1(t)}{dt}=-x_1(t)+x_3(t)+1\\ \frac{dx_2(t)}{dt}=-x_1(t)+2x_2(t)-1\\ \frac{dx_3(t)}{dt}=-4x_1(t)+3x_3(t)+2\\ x_(0)=1,x_2(0)=0,x_3(0)=1 \end{matrix}\right.$

记 $\small A=\begin{bmatrix} -1 &0 &1 \\ 1 & 2&0 \\ -4 & 0 & 3 \end{bmatrix}$ ， $\small c=\begin{bmatrix} 1\\ 0\\ 1 \end{bmatrix}$ ， $\small x(t)=\begin{bmatrix} x_1{(t)}\\ x_2{(t)}\\ x_3{(t)} \end{bmatrix}$ ， $\small f(t)=\begin{bmatrix} 1\\ -1\\ 2 \end{bmatrix}$

则微分方程组能写成矩阵的形式：

$\small \left\{\begin{matrix} \frac{dx(t)}{dt}=Ax(t)+f(t)\\ x(t_0)=c \end{matrix}\right.$

可求得： $\small e^{At}=\begin{bmatrix} e^{2t}-2te^t & 0&te^t \\ -e^{2t}+e^t+2te^t& e^{2t}&e^{2t}-e^t-te^t \\ -4te^t &0 & 2te^t+e^t \end{bmatrix}$

因此微分方程的解为： $\small x(t)=e^{At}c+e^{At}\int_{0}^{t}e^{-A\tau }f(\tau )d\tau$

$\small e^{At}c=\begin{bmatrix} e^t-te^t\\ te^t\\ e^t-2te^t \end{bmatrix}$ ， $\small \int_{0}^{t}e^{-A\tau }f(\tau)d\tau=\int_{0}^{t}\begin{bmatrix} e^{-\tau}\\ -e^{-\tau}\\ 2e^{-\tau} \end{bmatrix}d\tau=\begin{bmatrix} 1-e^{-t}\\ -1+e^{-t}\\ 2(1-e^{-t}) \end{bmatrix}$

$\small e^{At}\int_{0}^{t}e^{-A\tau }f(\tau )d\tau=\begin{bmatrix} e^t-1\\ -e^t+1\\ 2e^t-2 \end{bmatrix}$

故微分方程组的解为： $\small x(t)=\begin{bmatrix} x_1(t)\\ x_2(t)\\ x_3(t) \end{bmatrix}=\begin{bmatrix} e^t-te^t\\ te^t\\ e^t-2te^t \end{bmatrix}+\begin{bmatrix} e^t-1\\ -e^t+1\\ 2e^t-2 \end{bmatrix}=\begin{bmatrix} (2-t)e^t-1\\ (t-1)e^t+1\\ (3-2t)e^t-2 \end{bmatrix}$

5.2，Lyapunov矩阵方程AX+BX=F

在控制论和系统理论中，会遇到形如： $\small AX+BX =F$ 的矩阵方程，这个方程也称为 Lyapunov方程，关于这个方程的解有如下结果：

给定矩阵方程：

$\small AX+XB=F$

其中 $\small A\in \mathbb{C}^{m\times m},B\in \mathbb{C}^{n\times n},F\in\mathbb{C}^{m\times n}$ ，如果 $\small A$ 和 $\small B$ 的所有特征值都具有负实部，则该方程组有唯一解： $\small X=-\int_{0}^{+\infty }e^{At}Fe^{Bt}dt$

设 $\small A\in \mathbb{C}^{m\times m},B\in \mathbb{C}^{n\times n},F\in\mathbb{C}^{m\times n}$ ，则微分方程：

$\small \left\{\begin{matrix} \frac{dX(t)}{dt}=AX(t)+X(t)B\\ X(0)=F \end{matrix}\right.$

的解为： $\small X=e^{At}Fe^{Bt}$

设 $\small A,F\in\mathbb{C}^{n\times n}$ ，且 $\small A$ 的所有特征值具有负实部，则矩阵方程：

$\small AX(t)+X(t)A^H=-F$

的唯一解为： $\small X=\int_{0}^{+\infty }e^{At}Fe^{A^Ht}dt$

如果 $\small F$ 是 $\small Hermite$ 正定矩阵，则 $X$ 也是 $\small Hermite$ 正定矩阵。

5.3，最小二乘问题

在矩阵论实际应用中，最小二乘法是一种很重要的方法。因为实验有误差，数据有偏差，如何在纷乱复杂的环境中找到最优选择，最小二乘法就是解决该问题的一种重要方法。

【例12】现有 $n$ 组数据： $(x_1,y_1),(x_2,y_2),...,(x_n,y_n)$ ，试将它们拟合为一条直线。

设这条直线为： $y=kx+b$ ，由于各种实际原因使：

$y_i\ne kx_i+b(\exists i\in\left \{ 1,2,...,n \right \})$

则可构造误差

$\varepsilon _i=y_i-(kx_i+b)(i=1,2,...,n)$

为了不使得误差正负抵消，造成小的假象，进一步采取 $\xi _i$ 平方和作为目标函数，即：

$\varepsilon =\sum_{i=1}^n\varepsilon _i^2=\sum_{i=1}^n[y_i-(kx_i+b)]^2$

希望求出最佳逼近对应的 $k$ 和 $b$ 使得目标函数为 $min\, \varepsilon$ ，也即最小二乘解。

令 $\left\{\begin{matrix} \frac{\partial \varepsilon }{\partial k}=-2\sum_{i=1}^nx_i(y_i-kx_i-b)=0\\ \frac{\partial \varepsilon }{\partial b}=-2\sum_{i=1}^n(y_i-kx_i-b)=0 \end{matrix}\right.$

也就是 $k$ 和 $b$ 的二元一次方程：

$\left\{\begin{matrix} (\sum_{i=1}^nx_i^2)k+(\sum_{i=1}^nx_i)b=\sum_{i=1}^nx_iy_i\\ (\sum_{i=1}^nx_i)k+nb=\sum_{i=1}^ny_i \end{matrix}\right.$

令 $D=\begin{vmatrix} \sum_{i=1}^nx_i^2 &\sum_{i=1}^nx_i \\ \sum_{i=1}^nx_i & n \end{vmatrix},D_k=\begin{vmatrix} \sum_{i=1}^nx_iy_i &\sum_{i=1}^nx_i \\ \sum_{i=1}^ny_i & n \end{vmatrix},D_b=\begin{vmatrix} \sum_{i=1}^nx_i^2 &\sum_{i=1}^nx_i y_i\\ \sum_{i=1}^nx_i & \sum_{i=1}^ny_i \end{vmatrix}$

最小二乘解为 $k=\frac{D_k}{D},b=\frac{D_b}{D}$

设 $A\in\mathbb{C}^{m\times n},b\in \mathbb{C}^m$ ，当线性方程组 $Ax=b$ 无解时，则对任意 $x\in \mathbb{C}^n$ 都有 $Ax-b\ne 0$ 。

此时希望找到这样的向量 $x_0\in \mathbb{C}^n$ ，它使得 $||Ax_0-b||_2$ 取到 $||Ax-b||_2$ 的最小值。

即： $||Ax_0-b||_2=\underset{x\in \mathbb{C}^n}{min}||Ax-b||_2$ 。

称这个问题为最小二乘问题，称 $x_0$ 为矛盾方程组 $Ax=b$ 的最小二乘解。

设 $A\in \mathbb{R}^{m\times n},b\in \mathbb{R}^m$ ，若 $x_0\in \mathbb{R}^n$ 是 $Ax=b$ 的最小二乘解，则 $x_0$ 是方程组

$A^TAx=A^Tb$

的解，称上式为 $Ax=b$ 的法方程组。

证明：由于

$f(x)=||Ax-b||_2^2=(Ax-b)^T(Ax-b)=x^TA^TAx-x^TA^TAx+b^Tb$

若 $x_0$ 为 $Ax=b$ 的最小二乘解，则它应是 $f(x)$ 极小值点，从而

$0=\frac{df}{dx}|_{x_0}=2A^TAx_0-2A^Tb$

推论1：若 $x$ 和 $y$ 都是矛盾方程 $Ax=b$ 最小二乘解，则 $A(x-y)=0$ 或 $Ax=Ay$ 。

推论2：若 $A^TA$ 非奇异，则矛盾方程 $Ax=b$ 的最小二乘解为： $x=(A^TA)^{-1}A^Tb$ ，且解唯一。

【例13】设 $A\in \mathbb{R}^{m\times n},B\in \mathbb{R}^m,d\in\mathbb{R}^k$ ，且 $Bx=d$ 有解。

试求约束最小化问题： $\underset{Bx=d}{min}||Ax-b||_2^2$ 的解满足的代数方程，

也就是求 $Ax=b$ 在约束条件 $Bx=d$ 的最小二乘解所满足的代数方程。

若 $(x_0,u_0)$ 为 $f(x,u)$ 的极值点，则应有：

$\left\{\begin{matrix} \frac{\partial f}{\partial x}|_{(x_0,u_0)}=2A^TAx_0-2A^Tb+2B^Tu_0=0\\ \frac{\partial f}{\partial u}|_{(x_0,u_0)}=2(Bx_0-d)=0 \end{matrix}\right.$

这说明极值点 $(x_0,u_0)$ 应满足方程：

$\begin{bmatrix} A^TA &B^T \\ B & 0 \end{bmatrix}\begin{bmatrix} x\\ u \end{bmatrix}=\begin{bmatrix} A^Tb\\ d \end{bmatrix}$

求解该方程组即可得到 $Ax=b$ 在约束条件 $Bx=d$ 下的最小二乘解 $x_0$ 。