MIT线性代数笔记

1 矩阵

1.1 矩阵的定义及运算

1.1.1 矩阵的定义

矩阵是一个数表,由 m x n 个数排成的 m 行 n 列的数表
[ a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋮ ⋮ ⋱ ⋮ a m 1 a m 2 ⋯ a m n ] \begin{bmatrix} {a_{11}}&{a_{12}}&{\cdots}&{a_{1n}}\\ {a_{21}}&{a_{22}}&{\cdots}&{a_{2n}}\\ {\vdots}&{\vdots}&{\ddots}&{\vdots}\\ {a_{m1}}&{a_{m2}}&{\cdots}&{a_{mn}}\\ \end{bmatrix} a11a21am1a12a22am2a1na2namn
称为一个m行n列的矩阵, a i j a_{ij} aij为矩阵第i行j列的元素。
m=n时矩阵为方阵;只有 a i i a_{ii} aii不全为0的方阵叫对角阵; a i i a_{ii} aii=1的对角阵为单位矩阵,记做I;元素都是0的矩阵为0矩阵。

1.1.2 线性方程组

{ 2 x 1 + x 2 − x 3 = 1 x 1 + x 3 = − 2 \begin{cases} 2x_1+x_2-x_3&=1\\ x_1+x_3&=-2\\ \end{cases} {2x1+x2x3x1+x3=1=2
对应的系数矩阵为:
A = [ 2 1 − 1 1 0 1 ] A= \begin{bmatrix} 2&1&-1\\ 1&0&1\\ \end{bmatrix} A=[211011]
对应的曾广矩阵为:
B = [ 2 1 − 1 1 1 0 1 − 2 ] B= \begin{bmatrix} 2&1&-1&1\\ 1&0&1&-2\\ \end{bmatrix} B=[21101112]

1.1.3 矩阵的运算

运算说明
同型矩阵行列对应相等
矩阵相等对应元素相同的同型矩阵
矩阵加法同行矩阵才有定义,对应不元素相加
矩阵数乘所有元素乘以对应的实数:kA = (k a i j a_{ij} aij
矩阵乘法 A m × t B t × n = C m × n = ( c i j ) m × n A_{m \times t}B_{t \times n} = C_{m \times n} = (c_{ij})_{m \times n} Am×tBt×n=Cm×n=(cij)m×n,其中 c i j = ∑ k = 1 t a i k b k j c_{ij} = \sum_{k=1}^t{a_{ik}b_{kj}} cij=k=1taikbkj
矩阵等价A通过初等变换得到B
矩阵相似 A = M − 1 B M A=M^{-1}BM A=M1BM

1.2 矩阵的两个图

2x2矩阵
{ 2 x − y = 0 − x + 2 y = 3 → [ 2 − 1 − 1 2 ] [ x y ] = [ 0 3 ] x [ 2 − 1 ] + y [ − 1 2 ] = [ 0 3 ] → { x = 1 y = 2 \begin{cases}2x-y=0\\-x+2y=3\\\end{cases} \rightarrow \begin{bmatrix}2&-1\\-1&2\\\end{bmatrix} \begin{bmatrix}x\\y\\\end{bmatrix}= \begin{bmatrix}0\\3\\\end{bmatrix} \\ x \begin{bmatrix}2\\-1\\\end{bmatrix} + y \begin{bmatrix}-1\\2\\\end{bmatrix}= \begin{bmatrix}0\\3\\\end{bmatrix} \rightarrow \begin{cases}x=1\\y=2\\\end{cases} {2xy=0x+2y=3[2112][xy]=[03]x[21]+y[12]=[03]{x=1y=2

1.2.1 行图(row picture)

通过交点可以判断方程是否有解
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pRLS8G4S-1591005617842)(https://img-blog.csdn.net/20180212151424699?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbW9iaXVzX3N0cmlw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)]

1.2.2 列图(column picture)

列向量的线性组合
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PCFRBJjd-1591005617845)(https://img-blog.csdn.net/20180211210608114?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbW9iaXVzX3N0cmlw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)]

1.2.3 行列运算

[ c o l 1 c o l 2 c o l 3 ] [ a b c ] = a ∗ c o l 1 + b ∗ c o l 2 + c ∗ c o l 3 [ a b c ] [ r o w 1 r o w 2 r o w 3 ] = a ∗ r o w 21 + b ∗ r o w 2 + c ∗ r o w 3 \begin{bmatrix}col1&col2&col3\\\end{bmatrix}\begin{bmatrix}a\\b\\c\\\end{bmatrix}=a*col1+b*col2+c*col3\\ \begin{bmatrix}a&b&c\\\end{bmatrix}\begin{bmatrix}row1\\row2\\row3\\\end{bmatrix}=a*row21+b*row2+c*row3 [col1col2col3]abc=acol1+bcol2+ccol3[abc]row1row2row3=arow21+brow2+crow3

1.3 消元法与LU分解

1.3.1 矩阵的初等变换

ID初等行(列)变换
1交换两行(列)的位置
2用一非零数程昱某一行的所有元素
3把矩阵的某一行(列)的适当倍数加到另一行(列)上去

经过初等变换后,将矩阵转化成阶梯形式,如果曾广矩阵有非零主元则方程无解;如果阶梯矩阵对应的系数部分主对角含零,则有无穷解;

初等矩阵:对单位矩阵做一次初等变换得到的矩阵;行变换等于左乘初等矩阵,列变换等价于右乘初等矩阵

1.3.2 LU分解

高斯消元法:对曾广矩阵实施行初等变换化为行(简化)阶梯形

通过消元法将矩阵A转换成矩阵B(阶梯,上三角),对应行变换左乘的初等矩阵记为: E 1 , . . . , E k E1_,...,E_k E1,...,Ek则有:
E k . . E 1 A = B → A = E 1 − 1 . . E k − 1 B , 记 L = E 1 − 1 . . . E k − 1 , 则 A = L U E_k..E_1A = B \rightarrow A = E_1^{-1}..E_k^{-1}B,记L=E_1^{-1}...E_k^{-1},则A= LU Ek..E1A=BA=E11..Ek1BL=E11...Ek1A=LU

补:matlab求矩阵A的LU分解:rref(A)

1.3.3 线性方程组的解

在行变换的基础上加上交换行,化简后的矩阵为: [ I F 0 0 ] \begin{bmatrix}I&F\\0&0\end{bmatrix} [I0F0]其中I为单位矩阵,F是自由变元的矩阵
特解: A X b = b , 平 移 向 量 , 将 零 空 间 移 离 原 点 AX_b = b,平移向量,将零空间移离原点 AXb=b
通解: A ( X b + X n u l l ) = b , X n u l l 为 零 空 间 A(X_b+X_{null}) = b,X_{null}为零空间 A(Xb+Xnull)=bXnull

1.4 Gram-Schmidt 正交化

q i T q j = { 0 i ≠ j 1 i = j q_i^Tq_j=\begin{cases}0&i\neq j\\1& i=j \\\end{cases} qiTqj={01i=ji=j
Q = [ q 1 , . . , q n ] , 则 Q T Q = I Q=\begin{bmatrix}q_1,..,q_n\end{bmatrix}, 则Q^TQ = I Q=[q1,..,qn],QTQ=I
例: Q 1 = 1 2 [ 1 1 1 1 1 − 1 1 − 1 1 1 − 1 − 1 1 − 1 − 1 1 ] , Q 2 = [ c o s ( θ ) − s i n ( θ ) a i n ( θ ) c o s ( θ ) ] Q_1=\frac{1}{2}\begin{bmatrix}1&1&1&1\\1&-1&1&-1\\1&1&-1&-1\\1&-1&-1&1\end{bmatrix},Q_2=\begin{bmatrix}cos(\theta)&-sin(\theta)\\ain(\theta)&cos(\theta)\end{bmatrix} Q1=211111111111111111,Q2=[cos(θ)ain(θ)sin(θ)cos(θ)]

步骤说明
单位化 q 1 = a 1 ∥ a 1 ∥ , q 2 = b 1 ∥ b 1 ∥ , . . . q_1 = \frac{a_1}{\Vert a_1 \Vert}, q_2= \frac{b_1}{\Vert b_1 \Vert},... q1=a1a1,q2=b1b1,...
正交化 a = q 1 , b = q 2 − a T b a T a a , . . . a=q_1,b=q_2-\frac{a^{T}b}{a^{T}a}a,... a=q1,b=q2aTaaTba,...
整理 Q = [ a b . . ] ( A = Q R , 其 中 R = Q T A 为 下 三 角 矩 阵 Q = \begin{bmatrix}a&b&..\end{bmatrix}(A=QR,其中R=Q^TA为下三角矩阵 Q=[ab..]A=QRR=QTA
注1:Q可以不是方阵,如果是方阵则 Q − 1 = Q T Q^{-1}=Q^{T} Q1=QT
注2:Fourier变换基于正交基 [ s i n ( t ) , c o s ( t ) , . . ] 或 [ e t , e i t , . . ] [sin(t),cos(t),..]或[e^t,e^{it},..] [sin(t),cos(t),..][et,eit,..]

1.5 分块矩阵

矩阵可以分块计算

1.6 Markov矩阵

定义:所有元素都不小于0,每列和为1。
性质: λ 1 = 1 , ∣ λ i ∣ < 1 ( i ≠ 1 ) \lambda_1 =1,|\lambda_i| < 1(i\neq1) λ1=1λi<1(i=1)
用途:可以用于表示人口的迁移。


2 矩阵的逆

2.1 逆矩阵定义

如 果 A B = B A = I , 则 B 为 A 的 逆 矩 阵 , 记 为 A − 1 如果AB = BA = I,则B为A的逆矩阵,记为A^{-1} AB=BA=IBAA1

等价命题
A可逆
AX = 0只有零解
A与I等价
A可以表示成有限个初等矩阵的乘积

2.2 Gass-Jordan

solve more equations at once:
( A ∣ I ) → 初 等 行 变 换 ( I ∣ A − 1 ) (A|I) \xrightarrow{初等行变换} (I|A^{-1}) (AI) (IA1)

A 可 逆 的 充 要 条 件 为 A x = b 有 唯 一 解 x = b / A = A − 1 b A可逆的充要条件为Ax = b有唯一解 x = b/A = A^{-1}b AAx=bx=b/A=A1b

2.3 伪逆(sudo inverse)

伪逆条件1条件2形式结论
left inverser=n N ( A ) = 0 N(A)=0 N(A)=0 ( A T A ) − 1 A T (A^TA)^{-1}A^T (ATA)1AT0或1个解
right inverser=m N ( A T ) = 0 N(A^T)=0 N(AT)=0 A T ( A A T ) − 1 A^T(AA^T)^{-1} AT(AAT)1多解,n-m个自由变量

A ( A T A ) − 1 A T A(A^TA)^{-1}A^T A(ATA)1AT是在列空间中的投影
A T ( A A T ) − 1 A A^T(AA^T)^{-1}A AT(AAT)1A是在行空间中的投影

2.4 奇异值分解(SVD)

任何矩阵A都可以分解成: A = U Σ V T A = U\Sigma V^T A=UΣVT其中 Σ \Sigma Σ为对角矩阵
A A T = U Σ Σ T U T = U D U T AA^T = U \Sigma \Sigma^TU^T=UDU^T AAT=UΣΣTUT=UDUT
A T A = V Σ T Σ V T = V W V T A^TA = V \Sigma^T \Sigma V^T=VWV^T ATA=VΣTΣVT=VWVT
D m × m = [ σ 1 2 0 0 . 0 . 0 . 0 0 σ k 2 . . . . 0 ] , W n × n = [ σ 1 2 0 0 . 0 . 0 . 0 0 σ k 2 . . . . 0 ] D_{m \times m}=\begin{bmatrix} \sigma_1^2&0&0&.\\0&.&0&. \\0&0&\sigma_k^2&.\\.&.&.&0\end{bmatrix},W_{n \times n}=\begin{bmatrix} \sigma_1^2&0&0&.\\0&.&0&. \\0&0&\sigma_k^2&.\\.&.&.&0\end{bmatrix} Dm×m=σ1200.0.0.00σk2....0Wn×n=σ1200.0.0.00σk2....0
对应的逆为: A + = V Σ + U T , Σ + = [ 1 σ 1 0 0 . 0 . 0 . 0 0 . 1 σ k . . . . 0 ] A^+=V \Sigma^+U^T,\Sigma^+=\begin{bmatrix} \frac{1}{\sigma_1}&0&0&.\\0&.&0&. \\0&0&.\frac{1}{\sigma_k}&.\\.&.&.&0\end{bmatrix} A+=VΣ+UTΣ+=σ1100.0.0.00.σk1....0


3 线性空间

3.1 线性相关和张成

定义说明例子
向量空间< V,+,*>是定义了加法和数乘的代数系统过原点直线,过原点平面
线性空间满足叠加性:加性+齐性 f ( a x + b y ) = a ∗ f ( x ) + b ∗ f ( y ) f(ax+by)=a*f(x)+b*f(y) f(ax+by)=af(x)+bf(y)
线性无关不能互相表示的向量构成的集合笛卡尔坐标轴
张成(span)一组向量的全部线性组合的集合
基(base)张成整个空间V的线性无关向量组称为V的基(1,0,0,…),(0,1,0,…),…
维度(dimention)基的长度(或基的个数)
注:0向量是所有向量空间的子集
注:向量空间的交是向量空间,并不一定是

3.2 四个空间

名称说明
列空间(column space)矩阵列向量张成的空间
零空间(null space) A x = 0 Ax=0 Ax=0的X的解构成的空间,记 N ( A ) N(A) N(A)
行空间(转置的列空间)矩阵行向量张成的空间
转置零空间(左零空间) A T y = y T A = 0 A^{T}y = y^{T}A = 0 ATy=yTA=0,记 N ( A T ) N(A^T) N(AT)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HPFybHNE-1591005617847)(https://img-blog.csdn.net/20180212200558111?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbW9iaXVzX3N0cmlw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)]
如图row space 与 N(A) 正交补,column space 与 N ( A T ) N(A^{T}) N(AT)正交补,row space与column space 构成双射,其他部分都是零空间。

定理:dim(V)= dim(N)+dim(值域)

3.3 线性映射

每个矩阵 A m × n A_{m \times n} Am×n对应一个从 R m R^m Rm R n R^n Rn的线性映射,我们一般想要对矩阵A进行化简(特征值构成的对角矩阵),得到不同的基下的表示(分解成独立的子空间),可以简化问题或者看到问题的本质。

注:线性映射到矩阵的映射也是线性映射

3.3.1 特征值和特征向量(解耦、对角化)

特征向量在矩阵A的变化下只会出现缩放,不会出现方向变化:
A x = λ x , λ = 0 时 , A x = 0 , 对 应 的 x 确 定 零 空 间 N ( A ) Ax=\lambda x,\lambda =0时,Ax=0,对应的x确定零空间N(A) Ax=λxλ=0Ax=0xN(A)
求解: A x = λ x → ( A − λ I ) x = 0 Ax=\lambda x \rightarrow (A-\lambda I)x=0 Ax=λx(AλI)x=0
x不为0时,有 ∣ A − λ I ∣ = 0 , 得 到 特 征 方 程 , x i 为 A − λ i I 的 零 空 间 。 |A-\lambda I|=0,得到特征方程,x_i为A-\lambda_iI的零空间。 AλI=0xiAλiI

注: { A x = α x B x = β x ↛ ( A + B ) x = ( α + β ) x , 对 应 的 特 征 向 量 不 同 \begin{cases}Ax=\alpha x \\Bx=\beta x \end{cases} \nrightarrow (A+B)x=(\alpha + \beta)x,对应的特征向量不同 {Ax=αxBx=βx(A+B)x=(α+β)x

3.3.2 特殊的特征值

矩阵特征值例子
负对阵 λ 为 虚 数 \lambda 为虚数 λ 旋 转 矩 阵 [ 0 − 1 1 0 ] , λ 1 = i , λ 2 = − i , v 1 = [ i − 1 ] , v 2 = [ i 1 ] 旋转矩阵\begin{bmatrix}0&-1\\1&0 \end{bmatrix},\lambda_1 = i,\lambda_2 =-i,v_1 = \begin{bmatrix}i\\-1\end{bmatrix},v_2=\begin{bmatrix}i\\1\end{bmatrix} [0110]λ1=iλ2=iv1=[i1]v2=[i1]
正对称 λ 为 实 数 , 不 同 特 征 值 的 特 征 向 量 正 交 \lambda 为实数,不同特征值的特征向量正交 λ
畸形 λ 和 正 交 向 量 不 够 n 个 \lambda 和正交向量不够n个 λn [ 0 1 0 0 ] , λ = 1 , v = [ 1 0 ] \begin{bmatrix}0&1\\0&0 \end{bmatrix},\lambda = 1,v=\begin{bmatrix}1\\0\end{bmatrix} [0010]λ=1v=[10]

3.3.3 特征值性质

∑ i = 1 n λ i = ∑ i = 1 n a i i \sum_{i=1}^n \lambda_i=\sum_{i=1}^n a_{ii} i=1nλi=i=1naii
∏ i = 1 n λ i = d e t A \prod_{i=1}^n \lambda_i=detA i=1nλi=detA

3.3.4 QR法

利用QR分解迭代求解特征值:
A i = Q i R i A_i = Q_iR_i Ai=QiRi
R i Q i = A i + 1 R_iQ_i=A_{i+1} RiQi=Ai+1
迭代数次得到对角线矩阵,其中值为特征值

3.3.5 矩阵的多项式

f ( A ) = a 1 A k + . . . + a 1 A + a 0 I f(A) = a_1A^k+...+a_1A+a_0I f(A)=a1Ak+...+a1A+a0I
f ( λ ) = a 1 λ k + . . . + a 1 λ + a 0 f(\lambda) = a_1\lambda^k+...+a_1\lambda+a_0 f(λ)=a1λk+...+a1λ+a0

性质:f(A)g(A) = g(A)f(A)

4 行列式

4.1 定义

d e t A = ∣ a 11 a 12 . . . a 1 n a 21 a 22 . . . a 2 n . . . a n 1 a n 2 . . . a n n ∣ det A = \left| \begin{matrix} a_{11}&a_{12}&...&a_{1n}\\ a_{21}&a_{22}&...&a_{2n}\\ .&.&&.\\ a_{n1}&a_{n2}&...&a_{nn}\\ \end{matrix} \right| detA=a11a21.an1a12a22.an2.........a1na2n.ann
当 n = 1 时 , d e t A = a 11 当n=1时,detA = a_{11} n=1detA=a11
当 n ≥ 2 时 , d e t A = a 11 A 11 + a 12 A 12 + . . . a 1 n A 1 n , A i j = ( − 1 ) i + j M i j 当n \geq 2时,detA = a_{11}A_{11}+a_{12}A_{12}+...a_{1n}A_{1n},A_{ij} = (-1)^{i+j}M_{ij} n2detA=a11A11+a12A12+...a1nA1n,Aij=(1)i+jMij
其 中 A i j 称 为 余 子 式 , M i j 为 代 数 余 子 式 。 其中A_{ij}称为余子式,M_{ij}为代数余子式。 AijMij

4.2 对比矩阵和行列式

行列式矩阵
数表
D n D_n Dn A m × n A_{m \times n} Am×n
| |(),[]

4.3 行列式的性质

ID性质推论
1 d e t I = 1 ( 放 缩 ) detI = 1(放缩) detI=1() d e t A = 0 为 奇 异 detA=0为奇异 detA=0
2行列式按任意一行展开,其值相等: d e t A = a i 1 A i 1 + . . . + a i n A i n detA = a_{i1}A_{i1}+...+a_{in}A_{in} detA=ai1Ai1+...+ainAin d e t A 某 一 行 全 为 0 ⇒ d e t A = 0 detA某一行全为0\Rightarrow detA=0 detA0detA=0
3 d e t A 中 某 两 行 对 应 位 置 元 素 相 等 ⇒ d e t A = 0 detA中某两行对应位置元素相等\Rightarrow detA=0 detAdetA=0
4 [ a 11 . . a 1 n . . . b i 1 + c i 1 . . b i n + c i n . . . a n 1 . . a n n ] = [ a 11 . . a 1 n . . . b i 1 . . b i n . . . a n 1 . . a n n ] + [ a 11 . . a 1 n . . . c i 1 . . c i n . . . a n 1 . . a n n ] \begin{bmatrix}a_{11}&..&a_{1n}\\.&.&.\\b_{i1}+c_{i1}&..&b_{in}+c_{in}\\.&.&.\\a_{n1}&..&a_{nn}\\\end{bmatrix} =\\\begin{bmatrix}a_{11}&..&a_{1n}\\.&.&.\\b_{i1}&..&b_{in}\\.&.&.\\a_{n1}&..&a_{nn}\\\end{bmatrix} +\begin{bmatrix}a_{11}&..&a_{1n}\\.&.&.\\c_{i1}&..&c_{in}\\.&.&.\\a_{n1}&..&a_{nn}\\\end{bmatrix} a11.bi1+ci1.an1........a1n.bin+cin.ann=a11.bi1.an1........a1n.bin.ann+a11.ci1.an1........a1n.cin.ann
5 将 A 的 某 一 行 元 素 全 乘 以 k 得 到 d e t A 1 = k d e t A 将A的某一行元素全乘以k得到detA_1=kdetA AkdetA1=kdetA 将 某 一 行 的 k 倍 加 到 其 他 行 d e t A 不 , 交 换 两 行 d e t A 变 号 , 某 两 行 元 素 对 应 成 比 例 则 d e t A = 0 将某一行的k倍加到其他行detA不,交换两行detA变号,某两行元素对应成比例则detA=0 kdetAdetAdetA=0
6 d e t ( A B ) = d e t A ∗ d e t B det(AB)=detA*detB det(AB)=detAdetB d e t ( A T ) = d e t A det(A^T)=detA det(AT)=detA

4.4 伴随矩阵

A − 1 = C T d e t A A^{-1}=\frac{C^T}{detA} A1=detACT
C T C^T CT为伴随矩阵, c i j 为 对 应 的 余 子 式 c_{ij}为对应的余子式 cij
验证:
[ a 11 a 12 . a 1 n a 21 a 22 . a 2 n . . . a n 1 a n 2 . a n n ] [ c 11 c 12 . c 1 n c 21 c 22 . c 2 n . . . c n 1 a n 2 . c n n ] = [ d e t A 0 . 0 0 d e t A . 0 . . . 0 0 . d e t A ] = d e t A ⋅ I \begin{bmatrix}a_{11}&a_{12}&.&a_{1n}\\a_{21}&a_{22}&.&a_{2n}\\ .&.&&.\\a_{n1}&a_{n2}&.&a_{nn} \end{bmatrix} \begin{bmatrix}c_{11}&c_{12}&.&c_{1n}\\c_{21}&c_{22}&.&c_{2n}\\ .&.&&.\\c_{n1}&a_{n2}&.&c_{nn} \end{bmatrix} = \begin{bmatrix}detA&0&.&0\\0&detA&.&0\\ .&.&&.\\0&0&.&detA \end{bmatrix}=detA \cdot I a11a21.an1a12a22.an2...a1na2n.annc11c21.cn1c12c22.an2...c1nc2n.cnn=detA0.00detA.0...00.detA=detAI

4.5 集合意义

行列式的值为向量组维成的超体的体积,特征向量方向的缩放比为对应的特征值。


5 应用

5.1 电路

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DE7hIthE-1591005617848)(https://img-blog.csdn.net/2018021309103810?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbW9iaXVzX3N0cmlw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)]
令矩阵A的行为边,列为节点,出度为-1,入度为1,x为顶点(电压),y为边(电流)。

5.1.1 电压

A x = [ − 1 1 0 0 0 − 1 1 0 − 1 0 1 0 − 1 0 0 1 0 0 − 1 1 ] [ x 1 x 2 x 3 x 4 ] = C [ y 1 y 2 y 3 y 4 y 5 ] Ax= \begin{bmatrix}-1&1&0&0\\0&-1&1&0\\-1&0&1&0\\-1&0&0&1\\0&0&-1&1\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\\x_4\end{bmatrix} = C\begin{bmatrix}y_1\\y_2\\y_3\\y_4\\y_5\end{bmatrix} Ax=10110110000110100011x1x2x3x4=Cy1y2y3y4y5
左侧为压降矩阵,右侧为欧姆定理,C为电阻矩阵。

5.1.2 电流

A T y = [ − 1 0 − 1 − 1 0 1 − 1 0 0 0 0 1 1 0 − 1 0 0 0 1 1 ] [ y 1 y 2 y 3 y 4 y 5 ] = [ 0 0 0 0 ] A^Ty= \begin{bmatrix}-1&0&-1&-1&0\\1&-1&0&0&0\\0&1&1&0&-1\\0&0&0&1&1\end{bmatrix}\begin{bmatrix}y_1\\y_2\\y_3\\y_4\\y_5\end{bmatrix} = \begin{bmatrix}0\\0\\0\\0\end{bmatrix} ATy=11000110101010010011y1y2y3y4y5=0000
基尔霍夫定律,节点电流和为0;加入电流源 f = A T y = A T C A X , A T C A 为 对 称 矩 阵 f=A^Ty=A^TCAX,A^TCA为对称矩阵 f=ATy=ATCAXATCA

5.2 投影(projection)

求 解 A x = b , b 不 属 于 A 的 列 向 量 张 成 的 空 间 , 此 时 求 解 距 离 最 小 的 最 优 解 A x ^ = p , p 是 b 在 a 方 向 的 投 影 。 求解Ax=b,b不属于A的列向量张成的空间,此时求解距离最小的最优解A \hat x =p,p是b在a方向的投影。 Ax=bbAAx^=ppba

5.2.1 一维投影

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-T9hd6Mg8-1591005617849)(https://img-blog.csdn.net/20180213100713753?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbW9iaXVzX3N0cmlw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)]
p ⃗ = x a ⃗ , 其 中 x 为 比 例 系 数 , 故 求 解 x 即 可 。 因 为 e ⃗ 与 p ⃗ 正 交 时 e 的 模 最 小 , 故 : \vec{p}=x\vec{a},其中x为比例系数,故求解x即可。因为\vec{e}与\vec{p}正交时e的模最小,故: p =xa xxe p e
e ⃗ ⋅ p ⃗ = a ⃗ T ( b ⃗ − p ⃗ ) = a ⃗ T ( b ⃗ − x a ⃗ ) = 0 \vec{e} \cdot \vec{p}=\vec{a}^{T}(\vec{b}-\vec{p})=\vec{a}^{T}(\vec{b}-x\vec{a})=0 e p =a T(b p )=a T(b xa )=0
x = a T b a T a , p = a x = a a T b a T a = a a T a T a b = P b x = \frac{a^Tb}{a^Ta},p = ax = a\frac{a^Tb}{a^Ta} = \frac{aa^T}{a^Ta}b = Pb x=aTaaTbp=ax=aaTaaTb=aTaaaTb=Pb

5.2.2 高维投影

因为e与A正交,故e ∈ N ( A T ) \in N(A^T) N(AT)
定义: p = x 1 a 1 + . . + x k a k = A x p = x_1a_1 + .. + x_ka_k = A x p=x1a1+..+xkak=Ax
正交: a i T e i = a i T ( b i − A x i ) = 0 a_i^Te_i=a_i^T(b_i-Ax_i) = 0 aiTei=aiT(biAxi)=0
p = A x = A ( A T A ) − 1 A T b = P b p = Ax = A(A^TA)^{-1}A^Tb = Pb p=Ax=A(ATA)1ATb=Pb

5.2.3 投影性质

投影矩阵(P)的性质
P T = P P^T=P PT=P
P 2 = P P^2=P P2=P
I = P + E , ( b − p = e = E b ) I=P+E,(b-p=e=Eb) I=P+E,bp=e=Eb

5.3 最小二乘

数据拟合,求解到已知点距离和最小的目标曲线。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hqwCauxJ-1591005617850)(https://img-blog.csdn.net/20180213110352971?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbW9iaXVzX3N0cmlw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)]

5.3.1 利用矩阵求解

设直线为C+Dx=y,带入三点坐标:
[ 1 1 1 2 1 3 ] [ C D ] = [ 1 2 2 ] \begin{bmatrix}1&1\\1&2\\1&3\end{bmatrix}\begin{bmatrix}C\\D\end{bmatrix}=\begin{bmatrix}1\\2\\2\end{bmatrix} 111123[CD]=122
A T A x ^ = A T b , x ^ 为 最 小 二 乘 解 , 图 解 如 下 : A^TA \hat x = A^Tb,\hat x 为最小二乘解,图解如下: ATAx^=ATbx^
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pG1tih1R-1591005617851)(https://img-blog.csdn.net/20180213115420143?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbW9iaXVzX3N0cmlw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)]

5.3.2 利用导数求解

m i n ∣ ∣ A x − b ∣ ∣ 2 = ∣ ∣ e ∣ ∣ 2 = e 1 2 + e 2 2 + e 3 2 min {||Ax-b||}^2={||e||}^2=e_1^2+e_2^2+e_3^2 minAxb2=e2=e12+e22+e32
f ( C , D ) = ( C + D − 1 ) 2 + ( C + 2 D − 2 ) 2 + ( C + 3 D − 2 ) 2 f(C,D)={(C+D-1)}^2+{(C+2D-2)}^2+{(C+3D-2)}^2 f(C,D)=(C+D1)2+(C+2D2)2+(C+3D2)2
∂ f ∂ C = 0 → 6 C + 4 D = 0 \frac{\partial f}{\partial C} = 0 \rightarrow 6C+4D=0 Cf=06C+4D=0
∂ f ∂ D = 0 → 3 C + 6 D = 0 \frac{\partial f}{\partial D} = 0 \rightarrow 3C+6D=0 Df=03C+6D=0

微分方程 5.4

A x = λ x → A S = Λ S → A = S − 1 Λ S Ax=\lambda x \rightarrow AS=\Lambda S \rightarrow A = S^{-1} \Lambda S Ax=λxAS=ΛSA=S1ΛS
S 为 特 征 向 量 构 成 的 矩 阵 , Λ 为 特 征 值 构 成 的 矩 阵 。 上 面 公 式 可 以 简 化 矩 阵 求 幂 。 S为特征向量构成的矩阵,\Lambda 为特征值构成的矩阵。上面公式可以简化矩阵求幂。 SΛ

5.4.1 通解

方程通解
U k + 1 = A U k U_{k+1}=AU_k Uk+1=AUk U k = C 1 λ k x x + . . U_k=C_1 \lambda^k x_x +.. Uk=C1λkxx+..
d u d t = A u \frac{du}{dt}=Au dtdu=Au u ( t ) = C 1 e λ 1 t + . . u(t)=C_1e^{\lambda_1t}+.. u(t)=C1eλ1t+..

5.4.2 稳定性

线代控制理论用矩阵表示系统,如上面第二种微分方程,指数中的虚部代表震荡,实部影响稳定性。

λ \lambda λ稳定性
所有 λ i ≤ \lambda_i\leq λi 1李雅普诺夫稳定(不发散)
所有 λ i = \lambda_i= λi= 1渐进稳定(随着时间收敛到0)
存在 λ i > \lambda_i> λi> 1不稳定

5.5 基变换和图像压缩

图片(512x512 pixel) → J P E G \xrightarrow{JPEG}{} JPEG 64block(8x8 pixel) → 基 变 换 \xrightarrow{基变换}{} 系数c → 压 缩 c ^ ( 许 多 0 ) \xrightarrow{压缩}{} \hat c(许多0) c^0

变换基举例性质
standard [ 1 0 0 0 0 0 0 0 ] \begin{bmatrix}1\\0\\0\\0\\0\\0\\0\\0\end{bmatrix} 10000000 [ 0 1 0 0 0 0 0 0 ] \begin{bmatrix}0\\1\\0\\0\\0\\0\\0\\0\end{bmatrix} 01000000 [ 0 0 0 0 0 0 0 1 ] \begin{bmatrix}0\\0\\0\\0\\0\\0\\0\\1\end{bmatrix} 00000001效果不好
better低频(全同): [ 1 1 1 1 1 1 1 1 ] \begin{bmatrix}1\\1\\1\\1\\1\\1\\1\\1\end{bmatrix} 11111111 上下相反: [ 1 1 1 1 − 1 − 1 − 1 − 1 ] \begin{bmatrix}1\\1\\1\\1\\-1\\-1\\-1\\-1\end{bmatrix} 11111111 …高频(棋盘): [ 0 0 0 0 0 0 0 1 ] \begin{bmatrix}0\\0\\0\\0\\0\\0\\0\\1\end{bmatrix} 00000001不好求逆
Fourier [ 1 1 1 1 1 1 1 1 ] \begin{bmatrix}1\\1\\1\\1\\1\\1\\1\\1\end{bmatrix} 11111111 [ 1 ω ω 2 ω 3 ω 4 ω 5 ω 6 ω 7 ] \begin{bmatrix}1\\\omega\\\omega^2\\\omega^3\\\omega^4\\\omega^5\\\omega^6\\\omega^7\end{bmatrix} 1ωω2ω3ω4ω5ω6ω7 [ 1 ω 7 ω 14 ω 21 ω 28 ω 35 ω 42 ω 49 ] \begin{bmatrix}1\\\omega^7\\\omega^{14}\\\omega^{21}\\\omega^{28}\\\omega^{35}\\\omega^{42}\\\omega^{49}\end{bmatrix} 1ω7ω14ω21ω28ω35ω42ω49效果好,好求逆
简化小波 [ 1 1 1 1 1 1 1 1 ] \begin{bmatrix}1\\1\\1\\1\\1\\1\\1\\1\end{bmatrix} 11111111 [ 1 1 1 1 − 1 − 1 − 1 − 1 ] \begin{bmatrix}1\\1\\1\\1\\-1\\-1\\-1\\-1\end{bmatrix} 11111111 [ 1 1 − 1 − 1 0 0 0 0 ] \begin{bmatrix}1\\1\\-1\\-1\\0\\0\\0\\0\end{bmatrix} 11110000 [ 0 0 0 0 1 1 − 1 − 1 ] \begin{bmatrix}0\\0\\0\\0\\1\\1\\-1\\-1\end{bmatrix} 00001111 [ 1 − 1 0 0 0 0 0 0 ] \begin{bmatrix}1\\-1\\0\\0\\0\\0\\0\\0\end{bmatrix} 11000000 [ 0 0 1 − 1 0 0 0 0 ] \begin{bmatrix}0\\0\\1\\-1\\0\\0\\0\\0\end{bmatrix} 00110000 [ 0 0 0 0 1 − 1 0 0 ] \begin{bmatrix}0\\0\\0\\0\\1\\-1\\0\\0\end{bmatrix} 00001100 [ 0 0 0 0 0 0 1 − 1 ] \begin{bmatrix}0\\0\\0\\0\\0\\0\\1\\-1\end{bmatrix} 00000011效果好,好求逆
  • 3
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值