线性代数总复习

$\left\{\begin{aligned}x_1+2x_2+5x_3 =7\\2x_1+3x_2+1x_3=8\end{aligned}\right.\Rightarrow A=\begin{pmatrix} 1&2&5\\2&3&1\end{pmatrix},B=\begin{pmatrix} 1&2&5&7\\2&3&1&8\end{pmatrix}$

我们称A为系数矩阵(cofficient matrix),B为增广矩阵(augment matrix)

同时，我们习惯在矩阵 $A_{m\times n}$ 下方表示矩阵形状,如上述 $A_{2\times 3}$ 表示矩阵形状2行3列

运算

矩阵转置(transpose)

矩阵元素关于主对角线(主对角线元素:下标为ii即元素所在的位置行数等于列数,如 $a_{22}\ a_{33}\ ...$ )对称

$\begin{pmatrix} a_{11}&...&a_{1j}\\ ...&\ &...\\ a_{i1}&...&a_{ij}\\ \end{pmatrix}^{T}=\begin{pmatrix} a_{11}&...&a_{i1}\\ ...&\ &...\\ a_{1j}&...&a_{ji}\\ \end{pmatrix}\\$

如下，左边矩阵的主对角线元素为1和5的位置不变，其它元素以1和5为对称轴对称

$\begin{pmatrix}1&2&3\\4&5&6 \end{pmatrix}^{T}=\begin{pmatrix}1&4\\2&5\\3&6 \end{pmatrix}$

加法(addition)

矩阵进行加法需要满足两个条件:①矩阵形状一样,如 $A_{m\times n}$ 可以与 $B_{m\times n}$ 运算而与 $C_{(m+1)\times n}$ 不可以 ②对应位置元素相加

$\begin{pmatrix} a_{11}&...&a_{1n}\\ ...&\ &...\\ a_{n1}&...&a_{nn}\\ \end{pmatrix}+\begin{pmatrix} b_{11}&...&b_{1n}\\ ...&\ &...\\ b_{n1}&...&b_{nn}\\ \end{pmatrix}=\begin{pmatrix} a_{11}+b_{11}&...&a_{1n}+b_{1n}\\ ...&\ &...\\ a_{n1}+b_{n1}&...&a_{nn}+b_{nn}\\ \end{pmatrix}$

如:

$\begin{pmatrix}1&1&3\\4&2&4 \end{pmatrix}^{T}+\begin{pmatrix}1&4\\2&5\\3&6 \end{pmatrix}\\=\begin{pmatrix}1&4\\1&2\\3&4 \end{pmatrix}+\begin{pmatrix}1&4\\2&5\\3&6 \end{pmatrix}\\=\begin{pmatrix}1+1&4+4\\1+2&2+5\\3+3&3+6 \end{pmatrix}\\=\begin{pmatrix}2&8\\3&7\\6&9 \end{pmatrix}$

数乘(scalar multiplication)

常数k分配到矩阵中的每一个元素

$k\times\begin{pmatrix} a_{11}&...&a_{1n}\\ ...&\ &...\\ a_{n1}&...&a_{nn}\\ \end{pmatrix}=\begin{pmatrix} ka_{11}&...&ka_{1n}\\ ...&\ &...\\ ka_{n1}&...&ka_{nn}\\ \end{pmatrix}\\$

如

$3\times\begin{pmatrix}1&4\\2&5\\3&6 \end{pmatrix}\\=\begin{pmatrix}1\times3&4\times3\\2\times3&5\times3\\3\times3&6\times3 \end{pmatrix}\\=\begin{pmatrix}3&12\\6&15\\9&18 \end{pmatrix}$

乘法(multiplication)

$A_{m\times n}\times B_{n\times k}=C_{m\times k}$ ，其中C中的元素

$c_{mk}=\begin{aligned}\sum_{j=1}^{n} a_{mj}b_{jk}\end{aligned}$

如:

$\begin{pmatrix}1&4\\2&5\\3&6 \end{pmatrix}\times\begin{pmatrix}3&5&7\\2&4&6 \end{pmatrix}\\=\begin{pmatrix}1\times3+4\times2&1\times5+4\times4&1\times7+4\times6\\2\times3+5\times2&2\times5+5\times4&2\times7+5\times6\\3\times3+6\times2&3\times5+6\times4&3\times7+6\times6\\ \end{pmatrix}\\=\begin{pmatrix}11&21&31\\16&30&44\\21&39&57\end{pmatrix}$

分块(block matrix)

矩阵的行列式计算时可以将块矩阵当成整体计算,下面会详细介绍

共轭(conjugate)

矩阵中的元素实部不变，虚部变为原来的相反数

$A=\begin{pmatrix} a_{11}+b_{11}i&...&a_{1n}+b_{1n}i\\ ...&\ &...\\ a_{n1}+b_{n1}i&...&a_{nn}+b_{nn}i\\ \end{pmatrix},then\ \overline{A}=\begin{pmatrix} a_{11}-b_{11}i&...&a_{1n}-b_{1n}i\\ ...&\ &...\\ a_{n1}-b_{n1}i&...&a_{nn}-b_{nn}i\\ \end{pmatrix}\\$

如:

$\\A=\begin{pmatrix}1+i&2+i&3\\3+4i&4-6i&8-i\\\end{pmatrix}\\ \overline{A}=\begin{pmatrix}1-i&2-i&3\\3-4i&4+6i&8+i\end{pmatrix}$

共轭转置(conjugate transpose)

共轭转置本质上就是两种运算的结合，一种是共轭，另一种是转置，符号记为 $A^H$

$A^H=(\overline{A})^T$

$A=\begin{pmatrix} a_{11}+b_{11}i&...&a_{1n}+b_{1n}i\\ ...&\ &...\\ a_{n1}+b_{n1}i&...&a_{nn}+b_{nn}i\\ \end{pmatrix},then\ A^{H}=\begin{pmatrix} a_{11}-b_{11}i&...&a_{n1}-b_{n1}i\\ ...&\ &...\\ a_{1n}-b_{1n}i&...&a_{nn}-b_{nn}i\\ \end{pmatrix}\\$

如:

$\begin{aligned}A\ \ &=\begin{pmatrix}1+i&2+i&3\\3+4i&4-6i&8-i\\\end{pmatrix}\\ A^{H}&=(\overline{A})^{T}\\&=\begin{pmatrix}1-i&2-i&3\\3-4i&4+6i&8+i\end{pmatrix}^T\\&=\begin{pmatrix}1-i&3-4i\\2-i&4+6i\\3&8+i\end{pmatrix}\end{aligned}$

特殊矩阵

对称矩阵(symmetric matrix)

$A^{T}=A$

矩阵为方阵且关于对角线对称的元素相等

如:

$\begin{pmatrix}1&4&5\\4&3&2\\5&2&6\end{pmatrix}$
埃尔米特矩阵(Hermite matrix)

$A^{H}=A$

矩阵为方阵且关于对角线对称的元素共轭

$\begin{pmatrix}1+i&4-5i&5\\4+5i&3+9i&-2+i\\5&-2-i&6\end{pmatrix}$

正交矩阵(orthogonal matrix)

$A^{T}A=E$

矩阵列向量的膜为1，且俩俩相互正交

如:

$\begin{pmatrix} 1/\sqrt{5}&2/\sqrt{5}\\2/\sqrt{5}&-1/\sqrt{5}\end{pmatrix}=\begin{pmatrix} \alpha_1&\alpha_2\end{pmatrix}\\||\alpha_1||=\sqrt{(1/\sqrt{5})^2+(2/\sqrt{5})^2}=1\\||\alpha_2||=\sqrt{(2/\sqrt{5})^2+(-1/\sqrt{5})^2}=1\\ \alpha_1 \cdot \alpha_2=(1/\sqrt{5})\times(2/\sqrt{5})+(2/\sqrt{5})\times(-1/\sqrt{5})=0$

带状矩阵(band matrix)

当 $|i-j|\geq m$ 时, $a_{ij}=0$ ,w=2m-1为其带宽

$\begin{pmatrix}a_{11}&a_{12}&\\a_{21}&a_{22}&a_{23}\\&a_{32}&a_{33}\end{pmatrix}$

m=1,w=2 $\times$ 1-1=1

酉矩阵(unitart matrix)

即厄米共轭矩阵等于逆矩阵

$U^TU=UU^T=I$

性质

①酉矩阵不是一个奇异矩阵(一个行列式为0的方阵)

②酉矩阵可逆,且其逆也是一个酉矩阵

③酉矩阵相乘或相加仍是一个酉矩阵

④行向量俩俩正交，列向量俩俩正交

⑤酉矩阵可以不是方阵，但是必须满足④

如:

$\large \begin{pmatrix}\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}\\\frac{1i}{\sqrt{2}} &\frac{-1i}{\sqrt{2}}\end{pmatrix}$

更详细的资料(为全英想了解或者英语好的小伙伴可以看下)

上下三角矩阵(triangular matrix)

上三角矩阵在行列式的计算中有一定作用，如行列式的值就等于其对应矩阵的迹(trace)

$\large |A|=tr(A)=\prod_{i=1}^{n}a_{ii}$

如:

$\begin{vmatrix}1&2&3\\&2&3\\&&5\end{vmatrix}=1\times2\times5=10$

相似矩阵(similar matrix)

满足 $\small A\sim B\leftrightarrow P^{-1}A\ P=B$ 就叫A与B相似

相似矩阵的秩相等,且tr(A)=tr(B)

相合矩阵（congruent matrix）

$C^{H}A\ C=B$ ,若C为实矩阵非复矩阵时，关系为合同(contract)

范德蒙(Vandermonde)矩阵

每一列或行呈几何级数关系,其行列式的值为:

$\small \begin{aligned}\sum_{1\leq i<j\leq n}^{n}(a_j-a_i)\end{aligned}$

以四阶行列式为例(第i次运算减去它上一行的 $\small a_i$ 倍)

$\small \small \begin{vmatrix} 1 & 1 & 1 & 1 \\ a_1 &a_2 &a_3 &a_4 \\ a_1^2&a_2^2&a_3^2&a_4^2\\ a_1^3&a_2^3&a_3^3&a_4^3\\ \end{vmatrix}\\~\\= \begin{vmatrix} 1 &1 & 1 & 1 \\ 0 &a_2-a_1 &a_3-a_1 &a_4-a_1 \\ 0 &a_2^2-a_2a_1 &a_3^2-a_3a_1 &a_4^2-a_4a_1\\ 0 &a_2^3-a_2^2a_1&a_2^3-a_3^2a_1&a_4^3-a_4^2a_1\\ \end{vmatrix}\\~\\=(a_4-a_1)(a_3-a_1)(a_2-a_1) \begin{vmatrix} 1&1&1\\ a_2&a_3&a_4\\ a_2^2&a_3^2&a_4^2\\ \end{vmatrix}\\~\\=(a_4-a_1)(a_3-a_1)(a_2-a_1) \begin{vmatrix} 1&1&1\\ 0&a_3-a_2&a_4-a_2\\ 0&a_3^2-a_3a_2&a_4^2-a_4a_2\\ \end{vmatrix}\\~\\= (a_4-a_1)(a_3-a_1)(a_2-a_1)(a_3-a_2)(a_4-a_2) \begin{vmatrix} 1&1\\ a_3&a_4 \end{vmatrix}\\~\\=(a_4-a_1)(a_3-a_1)(a_2-a_1)(a_4-a_2)(a_3-a_2)(a_4-a_3)\\~\\= \begin{aligned}\sum_{1\leq i<j\leq 4}^{4}(a_j-a_i)\end{aligned}$

详情证明见百度百科范德蒙行列式第二部分定理

对角矩阵(diagonal matrix)

也叫标量阵

$\small \begin{pmatrix}a&&&&\\&b&&&\\&&c&&\\&&&...&\\&&&&n \end{}$

当a=b=c=...=n=1时我们称其为单位阵(identity matrix),记为E或I

夹克比矩阵(Jacobian matrix)

存储函数的偏导数

如:

已知:

$\left\{\begin{aligned}z_1=F(u,v,x,y)\\z_2=G(u,v,x,y)\end{aligned}\right.$

我们有

$\left\{\begin{aligned}z_{1x}=F_UU_x+F_VV_x\\z_{2y}=F_UU_y+F_VV_y\\z_{2x}=G_UU_x+G_VV_x\\z_{2y}=G_UU_y+G_VV_y\end{aligned}\right.$

u,v均可用x,y表达

所以对于x我们有:

$\left\{\begin{aligned}z_{1x}=F_U\frac{\partial U}{\partial x}+F_V\frac{\partial V}{\partial x}\\z_{2x}=G_U\frac{\partial U}{\partial x}+G_V\frac{\partial V}{\partial x}\end{}\right.$

我们得到夹克比(Jacobi determinant)行列式

$J=\frac{\partial (F,G)}{\partial(U,V)}=\begin{vmatrix}F_U&F_V\\G_U&G_V \end{}$

由于 $\frac{\partial z}{\partial x}=-\frac{F_x}{F_z}$

我们有:

$\frac{\partial U}{\partial x}=-\frac{1}{J}\begin{vmatrix}z_{x1}&F_V\\ z_{x2}&G_V \end{}$

$\frac{\partial V}{\partial x}=-\frac{1}{J}\begin{vmatrix}F_U&z_{x1}\\ G_U&z_{x2} \end{}$

同理可得

$\frac{\partial U}{\partial y}=-\frac{1}{J}\begin{vmatrix}z_{y1}&F_V\\ z_{y2}&G_V \end{}$

$\frac{\partial V}{\partial y}=-\frac{1}{J}\begin{vmatrix}F_U&z_{y1}\\ G_U&z_{y2} \end{}$

旋转矩阵(Rotation matrix)

旋转矩阵是一种变换矩阵。该矩阵的目的是在欧式空间中执行并得到向量的旋转。我们可以通过旋转矩阵得到旧坐标系(笛卡尔坐标系)与选择后的坐标系之间的关系，也可以看成选择矩阵就是一种映射。

问题引入:在 $R^2$ 空间(2D平面)内有基底(1,0)(0,1),我们把这俩个基底组成一个矩阵

$\begin{pmatrix}1&0\\0&1 \end{}$ ,记作 $\begin{pmatrix}x,y \end{}$ 。

已知在这个空间中有一个点(a,b)当它绕着O点旋转θ度时，求其坐标。

看到这里，我们会首先想到旋转点，但是我们发现直接旋转点去求坐标的话，会发现计算求解会非常麻烦。因此我们可以换个思路，也就是旋转坐标系。

而旋转坐标系我们又会发现坐标系基底与坐标的关系

$\begin{pmatrix}1&0\\0&1 \end{}\begin{pmatrix}a&b \end{}=\begin{pmatrix}a&b \end{}$

那么我们就会想，会不会有这么个关系新坐标基底矩阵x原坐标=新坐标

我们可以知道，由于旋转,坐标基底(1,0)变为(cosθ,sinθ),(0,1)变为(-sinθ,cosθ)如下图。

最后我们得到新基底矩阵

$\begin{pmatrix}\cos\theta&-\sin\theta\\\sin\theta&\cos\theta\end{}$

那么接下来就是证明:

$\begin{pmatrix}\cos\theta&-\sin\theta\\\sin\theta&\cos\theta\end{}\begin{pmatrix}a\\b \end{}=\begin{pmatrix}a'\\b' \end{}$ 记为*式

我们采用极坐标证明令a=rcos𝛂,b=rsin𝛂。我们有

$a'=r\cos(\alpha+\theta),b'=r\sin(\alpha+\theta)$

展开式子:

$\\a'=r\cos\alpha\cos\theta-r\sin\alpha\sin\theta=a\cos\theta+b(-\sin\theta)\\ b'=r\sin\alpha\cos\theta+r\sin\theta\cos\alpha=b\cos\theta+a\sin\theta$

化简一下

$\\a'=\begin{pmatrix}\cos\theta&-\sin\theta\\\end{}\begin{pmatrix}a\\b \end{}\\ b'=\begin{pmatrix}\sin\theta&\cos\theta\end{}\begin{pmatrix}a\\b \end{}$

得证*式成立

$\begin{pmatrix}\cos\theta&-\sin\theta\\\sin\theta&\cos\theta\end{}\begin{pmatrix}a\\b \end{}=\begin{pmatrix}a'\\b' \end{}$

详细资料(全英)

矩阵分解

1.LU分解(三角分解):

矩阵的顺序主子式都是非奇异的

A=LU,L为为下三角,U为上三角用于解线性方程AX=b

L对角线全是1

解决LU分解分为3步

step1:通过已知矩阵A求得L和U

step2:令Y=UX,则LY=b解得Y

step:UX=Y,解得X

如:

已知AX=b,

$A=\begin{pmatrix}4&2&-2\\2&2&-2\\-2&-3&13 \end{},b=\begin{pmatrix}8\\4\\5 \end{}$

由于A是三阶的，因此我们可以假定L与U,

$L=\begin{pmatrix}1&0&0\\l_{21}&1&0\\l_{31}&l_{32}&1 \end{}$ , $U=\begin{pmatrix}u_{11}&u_{12}&u_{13}\\0&u_{22}&u_{23}\\0&0&u_{33} \end{}$

step1:

$\\u_{11}=4\Rightarrow l_{21}=2\div u_{11}=0.5\Rightarrow l_{31}=-2\div u_{11}=-0.5\Rightarrow u_{12}=2\\\Rightarrow u_{22}=1\Rightarrow u_{13}=-2\\u_{23}=-1\Rightarrow u_{33}=10$

$L=\begin{pmatrix}1&0&0\\0.5&1&0\\-0.5&-2&1 \end{}$ , $U=\begin{pmatrix}4&2&2\\0&1&-1\\0&0&10 \end{}$

step2:

Y=UX,LY=b

采用矩阵乘法从第一行开始运算

$L=\begin{pmatrix}1&0&0\\0.5&1&0\\-0.5&-2&1 \end{},b=\begin{pmatrix}8\\4\\5 \end{}$

$Y=\begin{pmatrix}8\\0\\9 \end{}$

step3:

UX=Y

采用矩阵乘法从最后一行开始运算

$U=\begin{pmatrix}4&2&2\\0&1&-1\\0&0&10 \end{},Y=\begin{pmatrix}8\\0\\9 \end{}$

$X=\begin{pmatrix}1.1\\0.9\\0.9 \end{}$

参考字B站upHaon8

2.谱分解:

$A=P\Lambda P^{-1}$

其中，P为特征向量矩阵， $\Lambda$ 为特征值矩阵

条件:r(A)=r( $\Lambda$ )

性质:tr(A)=tr( $\Lambda$ )

原理:

谱分解即求矩阵的特征向量矩阵,还有对角化矩阵

我们已知一个矩阵A,我们希望找到 $\lambda$ 还有一个矩阵P(P可逆)使得 $AP=P\lambda$ ，即 $AP=\lambda P$

将式子全移到左边,我们有 $(A-\lambda E)P=0$ ,我们称满足上述式子的 $\lambda$ 称为特征值,而 $\lambda$ 对应的齐次线性方程组的解的基础解系，我们称之为特征向量

对于 $\lambda$ 的解法我们通常是通过行列式|A- $\lambda$ E|=0求解,而我们将f( $\lambda$ )=|A- $\lambda$ E|称之为特征多项式(后面求伪逆哈密尔顿-克莱定理有用到)

例:

已知矩阵

$A=\begin{pmatrix}1&3&5\\3&1&-5\\5&-5&2 \end{}$

求特征向量及其对应的特征值

$\begin{vmatrix}1-\lambda&3&5\\3&1-\lambda&-5\\5&-5&2-\lambda \end{}\\~\\=\begin{vmatrix} 4-\lambda&4-\lambda&0\\3&1-\lambda&-5\\5&-5&2-\lambda \end{}\\~\\=(4-\lambda)\begin{vmatrix}1&1&0\\0&-2-\lambda&-5\\0&-10&2-\lambda \end{}\\~\\=(4-\lambda)\begin{vmatrix}-2-\lambda&-5\\-10&2-\lambda\end{}\\~\\=(4-\lambda)(\lambda^2-4-50)\\~\\=(4-\lambda)(\lambda^2-54)$

解得: $\lambda_1=-3\sqrt{6}\approx -7.3485,\lambda_2=4,\lambda_3=3\sqrt{6}\approx 7.3485,$

当 $\lambda=4$ 时,

$\begin{pmatrix}-3&3&5\\3&-3&-5\\5&-5&-2 \end{}\\\sim \begin{pmatrix}-3&3&5\\0&0&0\\2&-2&-3 \end{}\\\sim \begin{pmatrix}-1&1&2\\2&-2&-3\\0&0&0 \end{}\\\sim \begin{pmatrix}-1&1&2\\0&0&1\\0&0&0 \end{}\\\sim \begin{pmatrix}-1&1&0\\0&0&1\\0&0&0 \end{}$

$let\ x_2=C,that\ is\ x=\begin{pmatrix}C\\C\\0 \end{}=C\begin{pmatrix}1\\1\\0 \end{}$

解得特征向量: $\begin{pmatrix}1\\1\\0 \end{}$

同理可得:对应的特征值矩阵D，特征向量矩阵V

3.SVD(Singular Value Decomposition奇异值分解)分解:

过程:

$A_{m\times n}=U_{m\times m}\Lambda_{m\times n} V_{n\times n}^{*}$ (A为共轭对称矩阵,U和V是正交矩阵)
取用其中AA^{T}非零特征值并存入

$\begin{aligned} \Lambda&=PAP^{T}\\ AA^{T}&=U\Lambda_{1}U^{T}\\ A^{T}A&=V\Lambda_{2}V^{T}\\ \end{aligned}\\$

证明:

首先， $A_{m\times n}=X_{m\times m}Y_{m\times n}Z_{n\times n}^T$ ,其中X和Z是正交矩阵，Y是奇异值矩阵

则, $A_{m\times n}^T=Z_{n\times n}^TY_{m\times n}^TX_{m\times m}^T$ , $A_{m\times n}A_{m\times n}^T=X_{m\times m}Y_{m\times n}Z_{n\times n}Z_{n\times n}^TY_{m\times n}^TX_{m\times m}=X_{m\times m}Y_{m\times n}Y_{m\times n}^TX_{m\times m}$

我们令 $\Lambda_1=YY^T,that\ is\ AA^T=X\Lambda_1X^T$

同理可证得: $\Lambda_2=Y^TY,that\ is\ A^TA=Z\Lambda_1Z^T$

接着，设出Y的一般形式，也就是将其主对角线元素设置成未知数,通过 $\\\Lambda_1=YY^T\\ \Lambda_2=Y^TY$ 求解可得，

同时我们发现在 $\Lambda_1\ and\ \Lambda_2$ 中的非0数值相同,且求解出来的结果中，恰好这些解是 $\Lambda_1\ and\ \Lambda_2$ 中非0数值的平方根

我们把X换成U,Z换成V,证得结果

如:

matlab代码:

clc
A=[4 0 5;0 0 5]
%结果U,V正交矩阵,S为奇异值矩阵
[U,S,V]=svd(A)

%计算U
ATA=A'*A
[U,lambda1]=eig(ATA)
U=fliplr(U)
lambda1=fliplr(flip(lambda1))

%计算V
AAT=A*A'
[V,lambda2]=eig(AAT)
U=fliplr(V)
lambda2=fliplr(flip(lambda2))

4.满秩分解

$A_{m\times n}=C_{m\times r}$ (列满秩) $\times$ $D_{r\times n}$ (行满秩)(先将A化简成最简矩阵B，接着取B前rank(秩)行作为D,再取每行首个非零元所在列构成C)

如:

$\\A=\begin{pmatrix} 1&1&2&1&0&0\\0&1&1&0&1&0\\1&2&3&0&0&1\end{}\\\sim \begin{pmatrix} 1&1&2&1&0&0\\0&1&1&0&1&0\\0&1&1&-1&0&1\end{}\\\sim \begin{pmatrix} 1&1&2&1&0&0\\0&1&1&0&1&0\\0&0&0&-1&-1&1\end{}\\\sim \begin{pmatrix} 1&0&1&0&-2&1\\0&1&1&0&1&0\\0&0&0&1&1&-1\end{}$

rank(A)=3,则全取

$D=\begin{pmatrix} 1&0&1&0&-2&1\\0&1&1&0&1&0\\0&0&0&1&1&-1\end{}$

取1、2、4列

$\\C=\begin{pmatrix} 1&1&1\\0&1&0\\1&2&0\end{}$

$\begin{pmatrix} 1&1&2&1&0&0\\0&1&1&0&1&0\\1&2&3&0&0&1\end{}=\begin{pmatrix} 1&1&1\\0&1&0\\1&2&0\end{}\times\begin{pmatrix} 1&0&1&0&-2&1\\0&1&1&0&1&0\\0&0&0&1&1&-1\end{}$

资料

5.LUP分解

参考链接

矩阵的幂求法

在平常A $\times$ A还是可以计算，可当矩阵变为更为复杂如 $A^{100}$ 此时就需要一些技巧计算

1.对角化: $A^{n}=PB^{n}P^{-1}$ ,B为对角阵
2.幂零矩阵:将矩阵拆分成一个纯量阵以及幂零矩阵( $\exists k \ and \ matrix\ N\ so\ that\ N^{k}=0$ ,N叫做幂零矩阵,k叫做N的度数或指数),即: $A=\lambda E+B,\exists B^{k}=0$
3.行列拆分:若矩阵每一行(列)成几何级数关系 $\begin{pmatrix}r_{1}\\r_{2}\\...\\r_{n}\end{pmatrix}$ ,我们可以有 $A=\begin{pmatrix}1\\\frac{r_{2}}{r_{1}}\\...\\\frac{r_{n}}{r_{1}}\end{pmatrix}\begin{pmatrix}a_{11}\ a_{12}\ ...\ a_{1n}\end{pmatrix}$

4.分块矩阵:

$\begin{pmatrix}3 &4 &0&0\\4&-3&0&0\\0&0&-1&0\\0&0&0&2\end{pmatrix}^{n}\rightarrow\begin{pmatrix}\begin{pmatrix}3&4\\4&-3\end{pmatrix}^{n}&0\\0&\begin{pmatrix}-1&0\\0&2\end{pmatrix}^{n}\end{pmatrix}$

5.找规律
6.Hamilton-Cayley定理:

由 $f(\lambda)=|\lambda E-A|=\lambda^{n}+b_{1}\lambda^{n-1}+...+b_{n-1}\lambda+b_{n}$ 特征多项式,

那么我们有 $f(A)=A^{n}+b_{1}A_{n-1}+...+b_{n-1}A+b_{n}E=0$ 联立递归可得结果

我们假设 $x^n=f(x)Q(x)+R(x)$ ,其中, $\frac{x^n-R(x)}{f(x)}=Q(x)$ ,我们称R(x)为 $x^n$ 的余式,Q(x)为 $x^n$ 的商式。由于f(x)=0,因此, $x^n=R(x)$

如

$A=\begin{pmatrix} 3&3&1\\1&0&0\\0&1&0\end{pmatrix},A^n=?$

$\begin{aligned}&sol:\\ &|A-\lambda E|=-(\lambda^3-3\lambda^2+3\lambda-1)=-(\lambda-1)^3\\ &f(x)=x^3-3x^2+3x-1\\ &let:x^n=f(x)Q(X)+R(x),R(x)=ax^2+bx+c\\ &x=1\rightarrow \left\{\begin{aligned} &a+b+c=1\\ &nx^{n-1}=(f(x)Q(x))'+R'(x)\\ &n(n-1)x^{n-2}=(f(x)Q(x))''+R''(x) \end{aligned} \right.\\ & \left\{\begin{aligned} &a+b+c=1\\ &n=2a+b\\ &n(n-1)=2a \end{aligned} \right. \\&f(x)=\frac{n(n-1)}{2}x^2+n(2-n)x+1+\frac{n(n-3)}{2}\\ &A^n=f(x)Q(x)+R(x)=R(A)=\frac{n(n-1)}{2}A^2+n(2-n)A+[1+\frac{n(n-3)}{2}]E \end{aligned}$

资料

b站讲解

逆矩阵

伴随矩阵

符号: $A^{*}$ 形式:

$A^{*}=\begin{pmatrix}A_{11}&...&A_{1n}\\...&&...\\A_{n1}&...&A_{nn}\end{pmatrix}$ , $A_{ij}$ 为除原矩阵i行j列元素组成的行列式
性质:

$AA^{*}=|A|$

$|A^*|=|A|^{n-1}$

基础概念

概念:已知AB=E,那么AB这种关系类似实数里面的倒数关系，因此引入矩阵中逆的概念,B=A^{-1}
条件:方阵(非奇异矩阵)且矩阵的行列式子不为0
性质:

$\\1.|A^{-1}|=|A|^{-1}\\\\2..|A|\neq0$

广义逆矩阵(伪逆）

概念:奇异矩阵还有非方阵没有逆，但有伪逆

左逆矩阵: $A^{L}A=E$ 但不满足 $AA^{L}=E,A^{L}$ 称为左逆矩阵
$A^{L}A=E\xrightarrow[Least\ square\ method,AX=Y]{m\geq n,Column Full Rank}A^{L}=(A^{T}A)^{-1}A^{T}E=(A^{T}A)^{-1}A^{T}$

Column full rank:列满秩,Least square method:最小二乘法

右逆矩阵: $AA^{R}=E$ 但不满足 $A^{R}A=E,A^{R}$ 称为右逆矩阵
$AA^{R}=E\xrightarrow[Least\ square\ method,AX=Y]{n\geq m,Row Full Rank}A^{R}=A^{T}(A^{T}A)^{-1}E=A^{T}(A^{T}A)^{-1}$

伪逆矩阵: $n=m,A_{m\times n}$ 的秩为 $r\leq m=n$ ,通过SVD分解，我们有 $A=U\sum V^{T}$ ,则伪逆 $A^{+}=V\sum\ ^{+}U^{T}$ , $\sum\ ^{+}$ 中每个值为 $\sum$ 中每个值的倒数

资料

最小二乘法

$\\AX=Y\\ A=(X^{T}X)^{-1}X^{T}Y\\ A=\begin{pmatrix}k\\b\end{pmatrix},X=\begin{pmatrix}x&1\end{pmatrix}$

初等变换

初等矩阵:单位阵仅经过一次初等变换得到的矩阵(其逆为本身)

类别: $|A^T|=|A|$

1. $r_i\leftrightarrow r_j$ : $r_1$ 与 $r_2$ 互换

2. $r_i+kr_j$ : $r_j$ 的k倍加到 $r_i$

3. $kr_i$ : $r_i$ 乘以k倍

左乘初等矩阵为行变换，右乘为列变换

解方程AX=B

1.初等变换(A|B)~(E|X)

2.逆:X= $A^{-1}$ B

3.最小二乘法: $X=A^{T}(AA^{T})^{-1}B$

行列式

概念

是一种函数

性质

1. $|A^T|=|A|$

2. $|A|^{-1}=|A^{-1}|$

3.推论: $\exists r_{i}\vee c_{j}$ 全为0 $\rightarrow$ 行列式值为0

4.加法:只有一行或一列不同,才可以加减，满足后不同的那一行或列进行加减运算

5.三种变换

$\\r_{1}\leftrightarrow r_{2}$ : $r_1$ 与 $r_2$ 互换位置,行列式前添负号
$r_{1}+k\times r_{2}$ : $r_1$ 加上 $r_{2}$ 的k倍,行列式值不变
$k\times r_{1}$ : $r_1$ 变为原来的k倍,行列式值变为原来的 $\frac{1}{k}$ 倍

计算方法

二阶:

$\begin{vmatrix} a & b\\ c & d\\ \end{vmatrix}=ad-bc$

三阶:

$\begin{vmatrix} a_{11}&a_{12}&a_{13}\\ a_{21}&a_{22}&a_{23} \\ a_{31}&a_{32}&a_{33} \\ \end{vmatrix}$ = $(a_{11}a_{22}a_{33}+a_{12} a_{23} a_{31}+a_{21}a_{32} a_{13} )$ - $(a_{13} a_{22} a_{31} +a_{23} a_{32} a_{11} +a_{12} a_{21} a_{33} )$

$\\\begin{aligned} = \sum_{i=1}^{3} ((-1)^{i+j}a_{ij}A_{ij})=\sum_{j=1}^{3}((-1)^{i+j}a_{ij}A_{ij})\\~\\\end{aligned}\\~$ $=\begin{vmatrix} b_{11}&b_{12}&b_{13}\\ 0&b_{22}&b_{23} \\ 0&0&b_{33} \\ \end{vmatrix}=b_{11}b_{22}b_{33}$

高阶行列式:采用行列展开降阶或者化为三角阵

向量

定义

向量定义:向量是空间中一组有大小有方向的线段

线性

定义

线性组合定义:已知空间中的一组基底，向量空间中的任意向量都可用基底表示
线性表示定义: $\beta=\alpha x_n$ ,即 $\beta$ 用 $\alpha$ 线性表示

线性相关与线性无关的定义:两个向量间一个向量可以用另一向量表示就叫做线性相关,而一个向量组中一个向量可以用向量组内的其它向量表示就叫做向量组线性相关，反之，线性无关

向量组等价:向量组内的向量经过一系列线性变换(加减乘)后得到的新向量组，新旧两个向量组的关系就叫做向量组等价
行秩大小=列秩大小

矩阵的秩

定义:描述矩阵线性无关组的一个量,任取矩阵的i行i列 $(i\leq m,i\leq n)$ ,找到交叉项，取出来组成矩阵 $T_{i\times i}$ ，计算行列式 $|T_{i\times i}|$ ，若 $|T_{i\times i}|\neq0,|T_{(i+1)\times (i+1)}|=0$ ,则称矩阵的秩为i,通常记为r

求法:化为梯矩阵，数非零行行数

极大线性无关组:
将矩阵化成梯矩阵 $\rightarrow$ 找到每行首个非零元 $\rightarrow$ 将每行首个非零元所在的列找出来就是最大线性无关组

$\rightarrow$ 化为最简梯矩阵 $\rightarrow$ 每行首个非0元所在列只有它不是0 $\rightarrow$ 非首行非0元列向量按维度如(a,b,0,c,d)

则这个向量用其它向量表示就为a $c_1$ +b $c_2$ +0+c $c_4$ +d $d_5$

线性相关性质

1.对应行列式为0
2.r<m

线性相关与线性无关的分辨方法

1.行列式: $|A|=0\rightarrow$ 矩阵A中的向量组线性相关
2.秩:梯矩阵非零行行数 $r<m\rightarrow$ 矩阵A中的向量组线性相关
3.比值:向量 $r_1$ 与 $r_2$ 有 $\frac{r_1}{r_2}=C(C\ is\ a\ constant)\rightarrow$ 矩阵A中的向量组线性相关

向量空间

n维向量空间: $a\in R^{n},b\in R^{n}\rightarrow(a+b)\in R^{n}$
子空间:属于向量空间的一部分
基底:空间中所有的向量都可以用基底向量组线性表示
维数:矩阵的秩
坐标:以一个固定点0进行观测的向量

基变换

设原基底 $A=(\alpha_1\ \alpha_2\ ...)$ , 新基底B= $(\beta_1\ \beta_2\ ...)$
过渡矩阵:P= $B^{-1}$
基变换公式:B=PA
坐标变换公式:(新坐标)=P $\times$ (旧坐标)

链接资料

内积与线性无关向量组的正交规范化

内积:对应维数相乘在求和,俩向量内积为零则说明俩向量正交
线性向量无关组正交规范化的施密特(Schimit)方法:
Step1:

$\beta_1=\alpha_1,\\$
Step2:

$\beta_2=\alpha_2-\frac{a_1,\beta_1}{(\beta_1,\beta_1)}\beta_1$

...
重复Step2直到 $\beta$ 数量到了n
Step3:

$\begin{aligned}\beta_n=\alpha_n-\sum_{i=1}^{n}\frac{a_i,\beta_i}{(\beta_i,\beta_i)}\beta_i\end{aligned}\\$
规范正交基:基底向量的膜长(norm)为1,正交矩阵:矩阵的列向量组成为规范正交基,俩俩正交

线性方程组

定义

解空间:包含了线性方程所有解的情况,解空间的解都可以由基础解析线性表示

Crammer法则

设有系数矩阵A,X变量与常量B形成AX=B关系,D=|A|, $D_i$ 为将B向量替换掉A中的i列,解得X:
$X=\begin{pmatrix}\frac{D_1}{D}\\\\\frac{D_2}{D}\\\\...\\\\\frac{D_n}{D}\end{pmatrix}\\$

解的情况

下面两种判断解情况可以通过行列式(方阵):
齐次线性方程组 $A_{m\times n}X=0$ 解的情况:1.零解rank(A)=m;2.通解rank(A)<m
非齐次线性方程AX=B解的情况:
1.无解:rank(A)<rank(A|B)
2.唯一解:rank(A)=rank(A|B)=n
3.通解:rank(A)=rank(A|B)<n

线性方程组解的结构与性质

1.基础解系间彼此线性无关
2.非齐次线性方程的解由齐次的通解 $\eta$ 加非齐次的特解 $\zeta$ :
$\\A\eta=0,A\zeta=B\rightarrow A(\eta+\zeta)=B\\ X=(\eta+\zeta)$

解(非)齐次线性方程的过程

Step1:用初等行变换化增广矩阵为梯矩阵，判断解是否存在
Step2:继续初等行变换化梯矩阵为最简梯矩阵
Step3:写出通解
Step4:化解通解为基础解系形式

特征值与特征向量

概念

为了求矩阵的幂 $A^n$ ,平常正常计算步骤太繁琐,因此猜想有没有什么结构能使计算变得简单,若有矩阵P(P可逆)使得 $A=P\Lambda P^{-1}$ ，( $\lambda$ 为一个数值),为了求解我们变换式子 $\\AP=P\lambda=\lambda P$ ,我们得到特征多项式: $(A-\lambda E)P=0$ ,我们称 $\lambda$ 的解为特征值，在对应的特征值下的解系，叫做特征向量，利用这个我们得到Hamilton-Cayley定理(在幂求解法有提到)
$tr(A)=\begin{aligned}\sum_{i=1}^{n}\lambda_{ii}\end{aligned}\ \ ,\ \ |A|=\begin{aligned}\prod_{i=1}^{n}\lambda_{ii}\end{aligned}\\$

相似变换

矩阵A经过对角化后得到对角阵B,则称AB相似,即A~B,
B= $P^{-1}AP$ ,相似矩阵间具有特征值矩阵与原矩阵到关系
可对角化条件:列向量个数=特征值个数,重根条件下，多少重根就多少个特征向量
实对称矩阵一定可对角化

二次型

定义

$f(x_1,x_2,..,x_n)=a_{11}x_1^2+a_{22}x_2^2+...+a_{nn}x_n^2+\begin{aligned}\sum_{j=1}^{n}\sum_{i=1}^{n}a_{ij} x_ix_j\end{aligned}\\$
矩阵表示
$\begin{pmatrix} a_{11}&\frac{a_{12}}{2}&&\\ \frac{a_{21}}{2}&a_{22}&&\\ &&...&\\ &&&a_{nn} \end{pmatrix}\\$

合同变换(Contract transformation)

矩阵A可分解为: $A=C^TBC$

合同矩阵:
1.原矩阵A为实对称矩阵
2.二次型的秩=未知数个数

化二次型的标准型

1.正交变换:系数矩阵 $A\xrightarrow[]{Contract transformation}$ 对角阵 $\rightarrow$ 将对角阵的元素作为y=cx的y系数 $\rightarrow$ 解出合同变换中的C(C的解要求基底正交规范化)(此处标准型就结束，若要规范型则继续) $\xrightarrow[Take\ the\ sign\ of\ B]{Normalize\ the\ vectors\ in\ P}$ 取y=cz作为规范型

2.配方法：利用完全平方进行配方

惯性定律

正惯性系数=矩阵的秩-负惯性系数=A中正特征向量的个数
正定二次型定义: $\forall X,we\ havef(X)>0\\$
正定矩阵:对应的二次型值>0 $\leftrightarrow$ 顺序主子式的值>0 $\leftrightarrow$ 正惯性系数p=未知数个数 $n\leftrightarrow$ 特征值均>0
半正定矩阵:正定矩阵中的条件''>''改为'' $\geq$ ''
负定矩阵(应用霍尔维茨定理):顺序主子式呈现负正负正...的顺序排列