1 矩阵
1.1 矩阵的定义及运算
1.1.1 矩阵的定义
矩阵是一个数表,由 m x n 个数排成的 m 行 n 列的数表
[
a
11
a
12
⋯
a
1
n
a
21
a
22
⋯
a
2
n
⋮
⋮
⋱
⋮
a
m
1
a
m
2
⋯
a
m
n
]
\begin{bmatrix} {a_{11}}&{a_{12}}&{\cdots}&{a_{1n}}\\ {a_{21}}&{a_{22}}&{\cdots}&{a_{2n}}\\ {\vdots}&{\vdots}&{\ddots}&{\vdots}\\ {a_{m1}}&{a_{m2}}&{\cdots}&{a_{mn}}\\ \end{bmatrix}
⎣⎢⎢⎢⎡a11a21⋮am1a12a22⋮am2⋯⋯⋱⋯a1na2n⋮amn⎦⎥⎥⎥⎤
称为一个m行n列的矩阵,
a
i
j
a_{ij}
aij为矩阵第i行j列的元素。
m=n时矩阵为方阵;只有
a
i
i
a_{ii}
aii不全为0的方阵叫对角阵;
a
i
i
a_{ii}
aii=1的对角阵为单位矩阵,记做I;元素都是0的矩阵为0矩阵。
1.1.2 线性方程组
{
2
x
1
+
x
2
−
x
3
=
1
x
1
+
x
3
=
−
2
\begin{cases} 2x_1+x_2-x_3&=1\\ x_1+x_3&=-2\\ \end{cases}
{2x1+x2−x3x1+x3=1=−2
对应的系数矩阵为:
A
=
[
2
1
−
1
1
0
1
]
A= \begin{bmatrix} 2&1&-1\\ 1&0&1\\ \end{bmatrix}
A=[2110−11]
对应的曾广矩阵为:
B
=
[
2
1
−
1
1
1
0
1
−
2
]
B= \begin{bmatrix} 2&1&-1&1\\ 1&0&1&-2\\ \end{bmatrix}
B=[2110−111−2]
1.1.3 矩阵的运算
运算 | 说明 |
---|---|
同型矩阵 | 行列对应相等 |
矩阵相等 | 对应元素相同的同型矩阵 |
矩阵加法 | 同行矩阵才有定义,对应不元素相加 |
矩阵数乘 | 所有元素乘以对应的实数:kA = (k a i j a_{ij} aij) |
矩阵乘法 | A m × t B t × n = C m × n = ( c i j ) m × n A_{m \times t}B_{t \times n} = C_{m \times n} = (c_{ij})_{m \times n} Am×tBt×n=Cm×n=(cij)m×n,其中 c i j = ∑ k = 1 t a i k b k j c_{ij} = \sum_{k=1}^t{a_{ik}b_{kj}} cij=∑k=1taikbkj |
矩阵等价 | A通过初等变换得到B |
矩阵相似 | A = M − 1 B M A=M^{-1}BM A=M−1BM |
1.2 矩阵的两个图
2x2矩阵
{
2
x
−
y
=
0
−
x
+
2
y
=
3
→
[
2
−
1
−
1
2
]
[
x
y
]
=
[
0
3
]
x
[
2
−
1
]
+
y
[
−
1
2
]
=
[
0
3
]
→
{
x
=
1
y
=
2
\begin{cases}2x-y=0\\-x+2y=3\\\end{cases} \rightarrow \begin{bmatrix}2&-1\\-1&2\\\end{bmatrix} \begin{bmatrix}x\\y\\\end{bmatrix}= \begin{bmatrix}0\\3\\\end{bmatrix} \\ x \begin{bmatrix}2\\-1\\\end{bmatrix} + y \begin{bmatrix}-1\\2\\\end{bmatrix}= \begin{bmatrix}0\\3\\\end{bmatrix} \rightarrow \begin{cases}x=1\\y=2\\\end{cases}
{2x−y=0−x+2y=3→[2−1−12][xy]=[03]x[2−1]+y[−12]=[03]→{x=1y=2
1.2.1 行图(row picture)
通过交点可以判断方程是否有解
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pRLS8G4S-1591005617842)(https://img-blog.csdn.net/20180212151424699?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbW9iaXVzX3N0cmlw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)]
1.2.2 列图(column picture)
列向量的线性组合
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PCFRBJjd-1591005617845)(https://img-blog.csdn.net/20180211210608114?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbW9iaXVzX3N0cmlw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)]
1.2.3 行列运算
[ c o l 1 c o l 2 c o l 3 ] [ a b c ] = a ∗ c o l 1 + b ∗ c o l 2 + c ∗ c o l 3 [ a b c ] [ r o w 1 r o w 2 r o w 3 ] = a ∗ r o w 21 + b ∗ r o w 2 + c ∗ r o w 3 \begin{bmatrix}col1&col2&col3\\\end{bmatrix}\begin{bmatrix}a\\b\\c\\\end{bmatrix}=a*col1+b*col2+c*col3\\ \begin{bmatrix}a&b&c\\\end{bmatrix}\begin{bmatrix}row1\\row2\\row3\\\end{bmatrix}=a*row21+b*row2+c*row3 [col1col2col3]⎣⎡abc⎦⎤=a∗col1+b∗col2+c∗col3[abc]⎣⎡row1row2row3⎦⎤=a∗row21+b∗row2+c∗row3
1.3 消元法与LU分解
1.3.1 矩阵的初等变换
ID | 初等行(列)变换 |
---|---|
1 | 交换两行(列)的位置 |
2 | 用一非零数程昱某一行的所有元素 |
3 | 把矩阵的某一行(列)的适当倍数加到另一行(列)上去 |
经过初等变换后,将矩阵转化成阶梯形式,如果曾广矩阵有非零主元则方程无解;如果阶梯矩阵对应的系数部分主对角含零,则有无穷解;
初等矩阵:对单位矩阵做一次初等变换得到的矩阵;行变换等于左乘初等矩阵,列变换等价于右乘初等矩阵
1.3.2 LU分解
高斯消元法:对曾广矩阵实施行初等变换化为行(简化)阶梯形
通过消元法将矩阵A转换成矩阵B(阶梯,上三角),对应行变换左乘的初等矩阵记为:
E
1
,
.
.
.
,
E
k
E1_,...,E_k
E1,...,Ek则有:
E
k
.
.
E
1
A
=
B
→
A
=
E
1
−
1
.
.
E
k
−
1
B
,
记
L
=
E
1
−
1
.
.
.
E
k
−
1
,
则
A
=
L
U
E_k..E_1A = B \rightarrow A = E_1^{-1}..E_k^{-1}B,记L=E_1^{-1}...E_k^{-1},则A= LU
Ek..E1A=B→A=E1−1..Ek−1B,记L=E1−1...Ek−1,则A=LU
补:matlab求矩阵A的LU分解:rref(A)
1.3.3 线性方程组的解
在行变换的基础上加上交换行,化简后的矩阵为:
[
I
F
0
0
]
\begin{bmatrix}I&F\\0&0\end{bmatrix}
[I0F0]其中I为单位矩阵,F是自由变元的矩阵
特解:
A
X
b
=
b
,
平
移
向
量
,
将
零
空
间
移
离
原
点
AX_b = b,平移向量,将零空间移离原点
AXb=b,平移向量,将零空间移离原点
通解:
A
(
X
b
+
X
n
u
l
l
)
=
b
,
X
n
u
l
l
为
零
空
间
A(X_b+X_{null}) = b,X_{null}为零空间
A(Xb+Xnull)=b,Xnull为零空间
1.4 Gram-Schmidt 正交化
q
i
T
q
j
=
{
0
i
≠
j
1
i
=
j
q_i^Tq_j=\begin{cases}0&i\neq j\\1& i=j \\\end{cases}
qiTqj={01i=ji=j
Q
=
[
q
1
,
.
.
,
q
n
]
,
则
Q
T
Q
=
I
Q=\begin{bmatrix}q_1,..,q_n\end{bmatrix}, 则Q^TQ = I
Q=[q1,..,qn],则QTQ=I
例:
Q
1
=
1
2
[
1
1
1
1
1
−
1
1
−
1
1
1
−
1
−
1
1
−
1
−
1
1
]
,
Q
2
=
[
c
o
s
(
θ
)
−
s
i
n
(
θ
)
a
i
n
(
θ
)
c
o
s
(
θ
)
]
Q_1=\frac{1}{2}\begin{bmatrix}1&1&1&1\\1&-1&1&-1\\1&1&-1&-1\\1&-1&-1&1\end{bmatrix},Q_2=\begin{bmatrix}cos(\theta)&-sin(\theta)\\ain(\theta)&cos(\theta)\end{bmatrix}
Q1=21⎣⎢⎢⎡11111−11−111−1−11−1−11⎦⎥⎥⎤,Q2=[cos(θ)ain(θ)−sin(θ)cos(θ)]
步骤 | 说明 |
---|---|
单位化 | q 1 = a 1 ∥ a 1 ∥ , q 2 = b 1 ∥ b 1 ∥ , . . . q_1 = \frac{a_1}{\Vert a_1 \Vert}, q_2= \frac{b_1}{\Vert b_1 \Vert},... q1=∥a1∥a1,q2=∥b1∥b1,... |
正交化 | a = q 1 , b = q 2 − a T b a T a a , . . . a=q_1,b=q_2-\frac{a^{T}b}{a^{T}a}a,... a=q1,b=q2−aTaaTba,... |
整理 | Q = [ a b . . ] ( A = Q R , 其 中 R = Q T A 为 下 三 角 矩 阵 Q = \begin{bmatrix}a&b&..\end{bmatrix}(A=QR,其中R=Q^TA为下三角矩阵 Q=[ab..](A=QR,其中R=QTA为下三角矩阵) |
注1:Q可以不是方阵,如果是方阵则 Q − 1 = Q T Q^{-1}=Q^{T} Q−1=QT
注2:Fourier变换基于正交基 [ s i n ( t ) , c o s ( t ) , . . ] 或 [ e t , e i t , . . ] [sin(t),cos(t),..]或[e^t,e^{it},..] [sin(t),cos(t),..]或[et,eit,..]
1.5 分块矩阵
矩阵可以分块计算
1.6 Markov矩阵
定义:所有元素都不小于0,每列和为1。
性质:
λ
1
=
1
,
∣
λ
i
∣
<
1
(
i
≠
1
)
\lambda_1 =1,|\lambda_i| < 1(i\neq1)
λ1=1,∣λi∣<1(i=1)
用途:可以用于表示人口的迁移。
2 矩阵的逆
2.1 逆矩阵定义
如 果 A B = B A = I , 则 B 为 A 的 逆 矩 阵 , 记 为 A − 1 如果AB = BA = I,则B为A的逆矩阵,记为A^{-1} 如果AB=BA=I,则B为A的逆矩阵,记为A−1
等价命题 |
---|
A可逆 |
AX = 0只有零解 |
A与I等价 |
A可以表示成有限个初等矩阵的乘积 |
2.2 Gass-Jordan
solve more equations at once:
(
A
∣
I
)
→
初
等
行
变
换
(
I
∣
A
−
1
)
(A|I) \xrightarrow{初等行变换} (I|A^{-1})
(A∣I)初等行变换(I∣A−1)
A 可 逆 的 充 要 条 件 为 A x = b 有 唯 一 解 x = b / A = A − 1 b A可逆的充要条件为Ax = b有唯一解 x = b/A = A^{-1}b A可逆的充要条件为Ax=b有唯一解x=b/A=A−1b
2.3 伪逆(sudo inverse)
伪逆 | 条件1 | 条件2 | 形式 | 结论 |
---|---|---|---|---|
left inverse | r=n | N ( A ) = 0 N(A)=0 N(A)=0 | ( A T A ) − 1 A T (A^TA)^{-1}A^T (ATA)−1AT | 0或1个解 |
right inverse | r=m | N ( A T ) = 0 N(A^T)=0 N(AT)=0 | A T ( A A T ) − 1 A^T(AA^T)^{-1} AT(AAT)−1 | 多解,n-m个自由变量 |
A
(
A
T
A
)
−
1
A
T
A(A^TA)^{-1}A^T
A(ATA)−1AT是在列空间中的投影
A
T
(
A
A
T
)
−
1
A
A^T(AA^T)^{-1}A
AT(AAT)−1A是在行空间中的投影
2.4 奇异值分解(SVD)
任何矩阵A都可以分解成:
A
=
U
Σ
V
T
A = U\Sigma V^T
A=UΣVT其中
Σ
\Sigma
Σ为对角矩阵
A
A
T
=
U
Σ
Σ
T
U
T
=
U
D
U
T
AA^T = U \Sigma \Sigma^TU^T=UDU^T
AAT=UΣΣTUT=UDUT
A
T
A
=
V
Σ
T
Σ
V
T
=
V
W
V
T
A^TA = V \Sigma^T \Sigma V^T=VWV^T
ATA=VΣTΣVT=VWVT
D
m
×
m
=
[
σ
1
2
0
0
.
0
.
0
.
0
0
σ
k
2
.
.
.
.
0
]
,
W
n
×
n
=
[
σ
1
2
0
0
.
0
.
0
.
0
0
σ
k
2
.
.
.
.
0
]
D_{m \times m}=\begin{bmatrix} \sigma_1^2&0&0&.\\0&.&0&. \\0&0&\sigma_k^2&.\\.&.&.&0\end{bmatrix},W_{n \times n}=\begin{bmatrix} \sigma_1^2&0&0&.\\0&.&0&. \\0&0&\sigma_k^2&.\\.&.&.&0\end{bmatrix}
Dm×m=⎣⎢⎢⎡σ1200.0.0.00σk2....0⎦⎥⎥⎤,Wn×n=⎣⎢⎢⎡σ1200.0.0.00σk2....0⎦⎥⎥⎤
对应的逆为:
A
+
=
V
Σ
+
U
T
,
Σ
+
=
[
1
σ
1
0
0
.
0
.
0
.
0
0
.
1
σ
k
.
.
.
.
0
]
A^+=V \Sigma^+U^T,\Sigma^+=\begin{bmatrix} \frac{1}{\sigma_1}&0&0&.\\0&.&0&. \\0&0&.\frac{1}{\sigma_k}&.\\.&.&.&0\end{bmatrix}
A+=VΣ+UT,Σ+=⎣⎢⎢⎡σ1100.0.0.00.σk1....0⎦⎥⎥⎤
3 线性空间
3.1 线性相关和张成
定义 | 说明 | 例子 |
---|---|---|
向量空间 | < V,+,*>是定义了加法和数乘的代数系统 | 过原点直线,过原点平面 |
线性空间 | 满足叠加性:加性+齐性 | f ( a x + b y ) = a ∗ f ( x ) + b ∗ f ( y ) f(ax+by)=a*f(x)+b*f(y) f(ax+by)=a∗f(x)+b∗f(y) |
线性无关 | 不能互相表示的向量构成的集合 | 笛卡尔坐标轴 |
张成(span) | 一组向量的全部线性组合的集合 | |
基(base) | 张成整个空间V的线性无关向量组称为V的基 | (1,0,0,…),(0,1,0,…),… |
维度(dimention) | 基的长度(或基的个数) |
注:0向量是所有向量空间的子集
注:向量空间的交是向量空间,并不一定是
3.2 四个空间
名称 | 说明 |
---|---|
列空间(column space) | 矩阵列向量张成的空间 |
零空间(null space) | A x = 0 Ax=0 Ax=0的X的解构成的空间,记 N ( A ) N(A) N(A) |
行空间(转置的列空间) | 矩阵行向量张成的空间 |
转置零空间(左零空间) | A T y = y T A = 0 A^{T}y = y^{T}A = 0 ATy=yTA=0,记 N ( A T ) N(A^T) N(AT) |
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HPFybHNE-1591005617847)(https://img-blog.csdn.net/20180212200558111?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbW9iaXVzX3N0cmlw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)]
如图row space 与 N(A) 正交补,column space 与
N
(
A
T
)
N(A^{T})
N(AT)正交补,row space与column space 构成双射,其他部分都是零空间。
定理:dim(V)= dim(N)+dim(值域)
3.3 线性映射
每个矩阵 A m × n A_{m \times n} Am×n对应一个从 R m R^m Rm到 R n R^n Rn的线性映射,我们一般想要对矩阵A进行化简(特征值构成的对角矩阵),得到不同的基下的表示(分解成独立的子空间),可以简化问题或者看到问题的本质。
注:线性映射到矩阵的映射也是线性映射
3.3.1 特征值和特征向量(解耦、对角化)
特征向量在矩阵A的变化下只会出现缩放,不会出现方向变化:
A
x
=
λ
x
,
λ
=
0
时
,
A
x
=
0
,
对
应
的
x
确
定
零
空
间
N
(
A
)
Ax=\lambda x,\lambda =0时,Ax=0,对应的x确定零空间N(A)
Ax=λx,λ=0时,Ax=0,对应的x确定零空间N(A)
求解:
A
x
=
λ
x
→
(
A
−
λ
I
)
x
=
0
Ax=\lambda x \rightarrow (A-\lambda I)x=0
Ax=λx→(A−λI)x=0
x不为0时,有
∣
A
−
λ
I
∣
=
0
,
得
到
特
征
方
程
,
x
i
为
A
−
λ
i
I
的
零
空
间
。
|A-\lambda I|=0,得到特征方程,x_i为A-\lambda_iI的零空间。
∣A−λI∣=0,得到特征方程,xi为A−λiI的零空间。
注: { A x = α x B x = β x ↛ ( A + B ) x = ( α + β ) x , 对 应 的 特 征 向 量 不 同 \begin{cases}Ax=\alpha x \\Bx=\beta x \end{cases} \nrightarrow (A+B)x=(\alpha + \beta)x,对应的特征向量不同 {Ax=αxBx=βx↛(A+B)x=(α+β)x,对应的特征向量不同
3.3.2 特殊的特征值
矩阵 | 特征值 | 例子 |
---|---|---|
负对阵 | λ 为 虚 数 \lambda 为虚数 λ为虚数 | 旋 转 矩 阵 [ 0 − 1 1 0 ] , λ 1 = i , λ 2 = − i , v 1 = [ i − 1 ] , v 2 = [ i 1 ] 旋转矩阵\begin{bmatrix}0&-1\\1&0 \end{bmatrix},\lambda_1 = i,\lambda_2 =-i,v_1 = \begin{bmatrix}i\\-1\end{bmatrix},v_2=\begin{bmatrix}i\\1\end{bmatrix} 旋转矩阵[01−10],λ1=i,λ2=−i,v1=[i−1],v2=[i1] |
正对称 | λ 为 实 数 , 不 同 特 征 值 的 特 征 向 量 正 交 \lambda 为实数,不同特征值的特征向量正交 λ为实数,不同特征值的特征向量正交 | |
畸形 | λ 和 正 交 向 量 不 够 n 个 \lambda 和正交向量不够n个 λ和正交向量不够n个 | [ 0 1 0 0 ] , λ = 1 , v = [ 1 0 ] \begin{bmatrix}0&1\\0&0 \end{bmatrix},\lambda = 1,v=\begin{bmatrix}1\\0\end{bmatrix} [0010],λ=1,v=[10] |
3.3.3 特征值性质
∑
i
=
1
n
λ
i
=
∑
i
=
1
n
a
i
i
\sum_{i=1}^n \lambda_i=\sum_{i=1}^n a_{ii}
∑i=1nλi=∑i=1naii
∏
i
=
1
n
λ
i
=
d
e
t
A
\prod_{i=1}^n \lambda_i=detA
∏i=1nλi=detA
3.3.4 QR法
利用QR分解迭代求解特征值:
A
i
=
Q
i
R
i
A_i = Q_iR_i
Ai=QiRi
R
i
Q
i
=
A
i
+
1
R_iQ_i=A_{i+1}
RiQi=Ai+1
迭代数次得到对角线矩阵,其中值为特征值
3.3.5 矩阵的多项式
f
(
A
)
=
a
1
A
k
+
.
.
.
+
a
1
A
+
a
0
I
f(A) = a_1A^k+...+a_1A+a_0I
f(A)=a1Ak+...+a1A+a0I
f
(
λ
)
=
a
1
λ
k
+
.
.
.
+
a
1
λ
+
a
0
f(\lambda) = a_1\lambda^k+...+a_1\lambda+a_0
f(λ)=a1λk+...+a1λ+a0
性质:f(A)g(A) = g(A)f(A)
4 行列式
4.1 定义
d
e
t
A
=
∣
a
11
a
12
.
.
.
a
1
n
a
21
a
22
.
.
.
a
2
n
.
.
.
a
n
1
a
n
2
.
.
.
a
n
n
∣
det A = \left| \begin{matrix} a_{11}&a_{12}&...&a_{1n}\\ a_{21}&a_{22}&...&a_{2n}\\ .&.&&.\\ a_{n1}&a_{n2}&...&a_{nn}\\ \end{matrix} \right|
detA=∣∣∣∣∣∣∣∣a11a21.an1a12a22.an2.........a1na2n.ann∣∣∣∣∣∣∣∣
当
n
=
1
时
,
d
e
t
A
=
a
11
当n=1时,detA = a_{11}
当n=1时,detA=a11
当
n
≥
2
时
,
d
e
t
A
=
a
11
A
11
+
a
12
A
12
+
.
.
.
a
1
n
A
1
n
,
A
i
j
=
(
−
1
)
i
+
j
M
i
j
当n \geq 2时,detA = a_{11}A_{11}+a_{12}A_{12}+...a_{1n}A_{1n},A_{ij} = (-1)^{i+j}M_{ij}
当n≥2时,detA=a11A11+a12A12+...a1nA1n,Aij=(−1)i+jMij
其
中
A
i
j
称
为
余
子
式
,
M
i
j
为
代
数
余
子
式
。
其中A_{ij}称为余子式,M_{ij}为代数余子式。
其中Aij称为余子式,Mij为代数余子式。
4.2 对比矩阵和行列式
行列式 | 矩阵 |
---|---|
数 | 数表 |
D n D_n Dn | A m × n A_{m \times n} Am×n |
| | | (),[] |
4.3 行列式的性质
ID | 性质 | 推论 |
---|---|---|
1 | d e t I = 1 ( 放 缩 ) detI = 1(放缩) detI=1(放缩) | d e t A = 0 为 奇 异 detA=0为奇异 detA=0为奇异 |
2 | 行列式按任意一行展开,其值相等: d e t A = a i 1 A i 1 + . . . + a i n A i n detA = a_{i1}A_{i1}+...+a_{in}A_{in} detA=ai1Ai1+...+ainAin | d e t A 某 一 行 全 为 0 ⇒ d e t A = 0 detA某一行全为0\Rightarrow detA=0 detA某一行全为0⇒detA=0 |
3 | d e t A 中 某 两 行 对 应 位 置 元 素 相 等 ⇒ d e t A = 0 detA中某两行对应位置元素相等\Rightarrow detA=0 detA中某两行对应位置元素相等⇒detA=0 | |
4 | [ a 11 . . a 1 n . . . b i 1 + c i 1 . . b i n + c i n . . . a n 1 . . a n n ] = [ a 11 . . a 1 n . . . b i 1 . . b i n . . . a n 1 . . a n n ] + [ a 11 . . a 1 n . . . c i 1 . . c i n . . . a n 1 . . a n n ] \begin{bmatrix}a_{11}&..&a_{1n}\\.&.&.\\b_{i1}+c_{i1}&..&b_{in}+c_{in}\\.&.&.\\a_{n1}&..&a_{nn}\\\end{bmatrix} =\\\begin{bmatrix}a_{11}&..&a_{1n}\\.&.&.\\b_{i1}&..&b_{in}\\.&.&.\\a_{n1}&..&a_{nn}\\\end{bmatrix} +\begin{bmatrix}a_{11}&..&a_{1n}\\.&.&.\\c_{i1}&..&c_{in}\\.&.&.\\a_{n1}&..&a_{nn}\\\end{bmatrix} ⎣⎢⎢⎢⎢⎡a11.bi1+ci1.an1........a1n.bin+cin.ann⎦⎥⎥⎥⎥⎤=⎣⎢⎢⎢⎢⎡a11.bi1.an1........a1n.bin.ann⎦⎥⎥⎥⎥⎤+⎣⎢⎢⎢⎢⎡a11.ci1.an1........a1n.cin.ann⎦⎥⎥⎥⎥⎤ | |
5 | 将 A 的 某 一 行 元 素 全 乘 以 k 得 到 d e t A 1 = k d e t A 将A的某一行元素全乘以k得到detA_1=kdetA 将A的某一行元素全乘以k得到detA1=kdetA | 将 某 一 行 的 k 倍 加 到 其 他 行 d e t A 不 , 交 换 两 行 d e t A 变 号 , 某 两 行 元 素 对 应 成 比 例 则 d e t A = 0 将某一行的k倍加到其他行detA不,交换两行detA变号,某两行元素对应成比例则detA=0 将某一行的k倍加到其他行detA不,交换两行detA变号,某两行元素对应成比例则detA=0 |
6 | d e t ( A B ) = d e t A ∗ d e t B det(AB)=detA*detB det(AB)=detA∗detB | d e t ( A T ) = d e t A det(A^T)=detA det(AT)=detA |
4.4 伴随矩阵
A
−
1
=
C
T
d
e
t
A
A^{-1}=\frac{C^T}{detA}
A−1=detACT
C
T
C^T
CT为伴随矩阵,
c
i
j
为
对
应
的
余
子
式
c_{ij}为对应的余子式
cij为对应的余子式
验证:
[
a
11
a
12
.
a
1
n
a
21
a
22
.
a
2
n
.
.
.
a
n
1
a
n
2
.
a
n
n
]
[
c
11
c
12
.
c
1
n
c
21
c
22
.
c
2
n
.
.
.
c
n
1
a
n
2
.
c
n
n
]
=
[
d
e
t
A
0
.
0
0
d
e
t
A
.
0
.
.
.
0
0
.
d
e
t
A
]
=
d
e
t
A
⋅
I
\begin{bmatrix}a_{11}&a_{12}&.&a_{1n}\\a_{21}&a_{22}&.&a_{2n}\\ .&.&&.\\a_{n1}&a_{n2}&.&a_{nn} \end{bmatrix} \begin{bmatrix}c_{11}&c_{12}&.&c_{1n}\\c_{21}&c_{22}&.&c_{2n}\\ .&.&&.\\c_{n1}&a_{n2}&.&c_{nn} \end{bmatrix} = \begin{bmatrix}detA&0&.&0\\0&detA&.&0\\ .&.&&.\\0&0&.&detA \end{bmatrix}=detA \cdot I
⎣⎢⎢⎡a11a21.an1a12a22.an2...a1na2n.ann⎦⎥⎥⎤⎣⎢⎢⎡c11c21.cn1c12c22.an2...c1nc2n.cnn⎦⎥⎥⎤=⎣⎢⎢⎡detA0.00detA.0...00.detA⎦⎥⎥⎤=detA⋅I
4.5 集合意义
行列式的值为向量组维成的超体的体积,特征向量方向的缩放比为对应的特征值。
5 应用
5.1 电路
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DE7hIthE-1591005617848)(https://img-blog.csdn.net/2018021309103810?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbW9iaXVzX3N0cmlw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)]
令矩阵A的行为边,列为节点,出度为-1,入度为1,x为顶点(电压),y为边(电流)。
5.1.1 电压
A
x
=
[
−
1
1
0
0
0
−
1
1
0
−
1
0
1
0
−
1
0
0
1
0
0
−
1
1
]
[
x
1
x
2
x
3
x
4
]
=
C
[
y
1
y
2
y
3
y
4
y
5
]
Ax= \begin{bmatrix}-1&1&0&0\\0&-1&1&0\\-1&0&1&0\\-1&0&0&1\\0&0&-1&1\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\\x_4\end{bmatrix} = C\begin{bmatrix}y_1\\y_2\\y_3\\y_4\\y_5\end{bmatrix}
Ax=⎣⎢⎢⎢⎢⎡−10−1−101−10000110−100011⎦⎥⎥⎥⎥⎤⎣⎢⎢⎡x1x2x3x4⎦⎥⎥⎤=C⎣⎢⎢⎢⎢⎡y1y2y3y4y5⎦⎥⎥⎥⎥⎤
左侧为压降矩阵,右侧为欧姆定理,C为电阻矩阵。
5.1.2 电流
A
T
y
=
[
−
1
0
−
1
−
1
0
1
−
1
0
0
0
0
1
1
0
−
1
0
0
0
1
1
]
[
y
1
y
2
y
3
y
4
y
5
]
=
[
0
0
0
0
]
A^Ty= \begin{bmatrix}-1&0&-1&-1&0\\1&-1&0&0&0\\0&1&1&0&-1\\0&0&0&1&1\end{bmatrix}\begin{bmatrix}y_1\\y_2\\y_3\\y_4\\y_5\end{bmatrix} = \begin{bmatrix}0\\0\\0\\0\end{bmatrix}
ATy=⎣⎢⎢⎡−11000−110−1010−100100−11⎦⎥⎥⎤⎣⎢⎢⎢⎢⎡y1y2y3y4y5⎦⎥⎥⎥⎥⎤=⎣⎢⎢⎡0000⎦⎥⎥⎤
基尔霍夫定律,节点电流和为0;加入电流源
f
=
A
T
y
=
A
T
C
A
X
,
A
T
C
A
为
对
称
矩
阵
f=A^Ty=A^TCAX,A^TCA为对称矩阵
f=ATy=ATCAX,ATCA为对称矩阵。
5.2 投影(projection)
求 解 A x = b , b 不 属 于 A 的 列 向 量 张 成 的 空 间 , 此 时 求 解 距 离 最 小 的 最 优 解 A x ^ = p , p 是 b 在 a 方 向 的 投 影 。 求解Ax=b,b不属于A的列向量张成的空间,此时求解距离最小的最优解A \hat x =p,p是b在a方向的投影。 求解Ax=b,b不属于A的列向量张成的空间,此时求解距离最小的最优解Ax^=p,p是b在a方向的投影。
5.2.1 一维投影
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-T9hd6Mg8-1591005617849)(https://img-blog.csdn.net/20180213100713753?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbW9iaXVzX3N0cmlw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)]
设
p
⃗
=
x
a
⃗
,
其
中
x
为
比
例
系
数
,
故
求
解
x
即
可
。
因
为
e
⃗
与
p
⃗
正
交
时
e
的
模
最
小
,
故
:
\vec{p}=x\vec{a},其中x为比例系数,故求解x即可。因为\vec{e}与\vec{p}正交时e的模最小,故:
p=xa,其中x为比例系数,故求解x即可。因为e与p正交时e的模最小,故:
e
⃗
⋅
p
⃗
=
a
⃗
T
(
b
⃗
−
p
⃗
)
=
a
⃗
T
(
b
⃗
−
x
a
⃗
)
=
0
\vec{e} \cdot \vec{p}=\vec{a}^{T}(\vec{b}-\vec{p})=\vec{a}^{T}(\vec{b}-x\vec{a})=0
e⋅p=aT(b−p)=aT(b−xa)=0
x
=
a
T
b
a
T
a
,
p
=
a
x
=
a
a
T
b
a
T
a
=
a
a
T
a
T
a
b
=
P
b
x = \frac{a^Tb}{a^Ta},p = ax = a\frac{a^Tb}{a^Ta} = \frac{aa^T}{a^Ta}b = Pb
x=aTaaTb,p=ax=aaTaaTb=aTaaaTb=Pb
5.2.2 高维投影
因为e与A正交,故e
∈
N
(
A
T
)
\in N(A^T)
∈N(AT)
定义:
p
=
x
1
a
1
+
.
.
+
x
k
a
k
=
A
x
p = x_1a_1 + .. + x_ka_k = A x
p=x1a1+..+xkak=Ax
正交:
a
i
T
e
i
=
a
i
T
(
b
i
−
A
x
i
)
=
0
a_i^Te_i=a_i^T(b_i-Ax_i) = 0
aiTei=aiT(bi−Axi)=0
p
=
A
x
=
A
(
A
T
A
)
−
1
A
T
b
=
P
b
p = Ax = A(A^TA)^{-1}A^Tb = Pb
p=Ax=A(ATA)−1ATb=Pb
5.2.3 投影性质
投影矩阵(P)的性质 |
---|
P T = P P^T=P PT=P |
P 2 = P P^2=P P2=P |
I = P + E , ( b − p = e = E b ) I=P+E,(b-p=e=Eb) I=P+E,(b−p=e=Eb) |
5.3 最小二乘
数据拟合,求解到已知点距离和最小的目标曲线。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hqwCauxJ-1591005617850)(https://img-blog.csdn.net/20180213110352971?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbW9iaXVzX3N0cmlw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)]
5.3.1 利用矩阵求解
设直线为C+Dx=y,带入三点坐标:
[
1
1
1
2
1
3
]
[
C
D
]
=
[
1
2
2
]
\begin{bmatrix}1&1\\1&2\\1&3\end{bmatrix}\begin{bmatrix}C\\D\end{bmatrix}=\begin{bmatrix}1\\2\\2\end{bmatrix}
⎣⎡111123⎦⎤[CD]=⎣⎡122⎦⎤
A
T
A
x
^
=
A
T
b
,
x
^
为
最
小
二
乘
解
,
图
解
如
下
:
A^TA \hat x = A^Tb,\hat x 为最小二乘解,图解如下:
ATAx^=ATb,x^为最小二乘解,图解如下:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pG1tih1R-1591005617851)(https://img-blog.csdn.net/20180213115420143?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbW9iaXVzX3N0cmlw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)]
5.3.2 利用导数求解
m
i
n
∣
∣
A
x
−
b
∣
∣
2
=
∣
∣
e
∣
∣
2
=
e
1
2
+
e
2
2
+
e
3
2
min {||Ax-b||}^2={||e||}^2=e_1^2+e_2^2+e_3^2
min∣∣Ax−b∣∣2=∣∣e∣∣2=e12+e22+e32
f
(
C
,
D
)
=
(
C
+
D
−
1
)
2
+
(
C
+
2
D
−
2
)
2
+
(
C
+
3
D
−
2
)
2
f(C,D)={(C+D-1)}^2+{(C+2D-2)}^2+{(C+3D-2)}^2
f(C,D)=(C+D−1)2+(C+2D−2)2+(C+3D−2)2
∂
f
∂
C
=
0
→
6
C
+
4
D
=
0
\frac{\partial f}{\partial C} = 0 \rightarrow 6C+4D=0
∂C∂f=0→6C+4D=0
∂
f
∂
D
=
0
→
3
C
+
6
D
=
0
\frac{\partial f}{\partial D} = 0 \rightarrow 3C+6D=0
∂D∂f=0→3C+6D=0
微分方程 5.4
A
x
=
λ
x
→
A
S
=
Λ
S
→
A
=
S
−
1
Λ
S
Ax=\lambda x \rightarrow AS=\Lambda S \rightarrow A = S^{-1} \Lambda S
Ax=λx→AS=ΛS→A=S−1ΛS
S
为
特
征
向
量
构
成
的
矩
阵
,
Λ
为
特
征
值
构
成
的
矩
阵
。
上
面
公
式
可
以
简
化
矩
阵
求
幂
。
S为特征向量构成的矩阵,\Lambda 为特征值构成的矩阵。上面公式可以简化矩阵求幂。
S为特征向量构成的矩阵,Λ为特征值构成的矩阵。上面公式可以简化矩阵求幂。
5.4.1 通解
方程 | 通解 |
---|---|
U k + 1 = A U k U_{k+1}=AU_k Uk+1=AUk | U k = C 1 λ k x x + . . U_k=C_1 \lambda^k x_x +.. Uk=C1λkxx+.. |
d u d t = A u \frac{du}{dt}=Au dtdu=Au | u ( t ) = C 1 e λ 1 t + . . u(t)=C_1e^{\lambda_1t}+.. u(t)=C1eλ1t+.. |
5.4.2 稳定性
线代控制理论用矩阵表示系统,如上面第二种微分方程,指数中的虚部代表震荡,实部影响稳定性。
λ \lambda λ | 稳定性 |
---|---|
所有 λ i ≤ \lambda_i\leq λi≤ 1 | 李雅普诺夫稳定(不发散) |
所有 λ i = \lambda_i= λi= 1 | 渐进稳定(随着时间收敛到0) |
存在 λ i > \lambda_i> λi> 1 | 不稳定 |
5.5 基变换和图像压缩
图片(512x512 pixel) → J P E G \xrightarrow{JPEG}{} JPEG 64block(8x8 pixel) → 基 变 换 \xrightarrow{基变换}{} 基变换 系数c → 压 缩 c ^ ( 许 多 0 ) \xrightarrow{压缩}{} \hat c(许多0) 压缩c^(许多0)
变换基 | 举例 | 性质 |
---|---|---|
standard | [ 1 0 0 0 0 0 0 0 ] \begin{bmatrix}1\\0\\0\\0\\0\\0\\0\\0\end{bmatrix} ⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡10000000⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤ [ 0 1 0 0 0 0 0 0 ] \begin{bmatrix}0\\1\\0\\0\\0\\0\\0\\0\end{bmatrix} ⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡01000000⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤ … [ 0 0 0 0 0 0 0 1 ] \begin{bmatrix}0\\0\\0\\0\\0\\0\\0\\1\end{bmatrix} ⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡00000001⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤ | 效果不好 |
better | 低频(全同): [ 1 1 1 1 1 1 1 1 ] \begin{bmatrix}1\\1\\1\\1\\1\\1\\1\\1\end{bmatrix} ⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡11111111⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤ 上下相反: [ 1 1 1 1 − 1 − 1 − 1 − 1 ] \begin{bmatrix}1\\1\\1\\1\\-1\\-1\\-1\\-1\end{bmatrix} ⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡1111−1−1−1−1⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤ …高频(棋盘): [ 0 0 0 0 0 0 0 1 ] \begin{bmatrix}0\\0\\0\\0\\0\\0\\0\\1\end{bmatrix} ⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡00000001⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤ | 不好求逆 |
Fourier | [ 1 1 1 1 1 1 1 1 ] \begin{bmatrix}1\\1\\1\\1\\1\\1\\1\\1\end{bmatrix} ⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡11111111⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤ [ 1 ω ω 2 ω 3 ω 4 ω 5 ω 6 ω 7 ] \begin{bmatrix}1\\\omega\\\omega^2\\\omega^3\\\omega^4\\\omega^5\\\omega^6\\\omega^7\end{bmatrix} ⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡1ωω2ω3ω4ω5ω6ω7⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤ … [ 1 ω 7 ω 14 ω 21 ω 28 ω 35 ω 42 ω 49 ] \begin{bmatrix}1\\\omega^7\\\omega^{14}\\\omega^{21}\\\omega^{28}\\\omega^{35}\\\omega^{42}\\\omega^{49}\end{bmatrix} ⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡1ω7ω14ω21ω28ω35ω42ω49⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤ | 效果好,好求逆 |
简化小波 | [ 1 1 1 1 1 1 1 1 ] \begin{bmatrix}1\\1\\1\\1\\1\\1\\1\\1\end{bmatrix} ⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡11111111⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤ [ 1 1 1 1 − 1 − 1 − 1 − 1 ] \begin{bmatrix}1\\1\\1\\1\\-1\\-1\\-1\\-1\end{bmatrix} ⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡1111−1−1−1−1⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤ [ 1 1 − 1 − 1 0 0 0 0 ] \begin{bmatrix}1\\1\\-1\\-1\\0\\0\\0\\0\end{bmatrix} ⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡11−1−10000⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤ [ 0 0 0 0 1 1 − 1 − 1 ] \begin{bmatrix}0\\0\\0\\0\\1\\1\\-1\\-1\end{bmatrix} ⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡000011−1−1⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤ [ 1 − 1 0 0 0 0 0 0 ] \begin{bmatrix}1\\-1\\0\\0\\0\\0\\0\\0\end{bmatrix} ⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡1−1000000⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤ [ 0 0 1 − 1 0 0 0 0 ] \begin{bmatrix}0\\0\\1\\-1\\0\\0\\0\\0\end{bmatrix} ⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡001−10000⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤ [ 0 0 0 0 1 − 1 0 0 ] \begin{bmatrix}0\\0\\0\\0\\1\\-1\\0\\0\end{bmatrix} ⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡00001−100⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤ [ 0 0 0 0 0 0 1 − 1 ] \begin{bmatrix}0\\0\\0\\0\\0\\0\\1\\-1\end{bmatrix} ⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡0000001−1⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤ | 效果好,好求逆 |