第一章 - 矩阵和高斯消元
1、线性等式从几何角度的理解
例如 2 x − y = 1 ; x + y = 5 2x-y=1\ ; x+y=5 2x−y=1 ;x+y=5
● 从行（row）的角度看，解是两根直线（可以看成一种平面）的交点，因此可能有0，1和 ∞ \infty ∞三种情况。0和 ∞ \infty ∞都是奇异（singular）的。
● 从列（cloumn）的角度看，可以看成 ( 2 , 1 ) (2,1) (2,1)和 ( − 1 , 1 ) (-1,1) (−1,1)通过线性组合 ( x , y ) (x,y) (x,y)得到 ( 1 , 5 ) (1,5) (1,5)。此时线性组合 ( x , y ) (x,y) (x,y)也可能有0，1和 ∞ \infty ∞三种情况。0和 ∞ \infty ∞都是奇异（singular）的。
2、高斯消元法
例如对于线性等式：
2 x + y + z = 5 4 x − 6 y = − 2 − 2 x + 7 y + 2 z = 9 \begin{matrix} 2x & + & y & + & z & = & 5\\ 4x & - & 6y & & & = & -2\\ -2x & + & 7y & + & 2z & = & 9 \end{matrix} 2x4x−2x+−+y6y7y++z2z===5−29
将其左边和右边合并后可以得到增广矩阵如下：
[ 2 1 1 5 4 − 6 0 − 2 − 2 7 2 9 ] \begin{bmatrix} 2& 1 & 1 & 5\\ 4& -6 & 0 & -2\\ -2& 7 & 2 & 9 \end{bmatrix} ⎣⎡24−21−671025−29⎦⎤
使用高斯消元法对增广矩阵消元：
[ 2 1 1 5 4 − 6 0 − 2 − 2 7 2 9 ] \begin{bmatrix} 2& 1 & 1 & 5\\ 4& -6 & 0 & -2\\ -2& 7 & 2 & 9 \end{bmatrix} ⎣⎡24−21−671025−29⎦⎤ → \rightarrow → [ 2 1 1 5 0 − 8 − 2 − 12 0 8 3 14 ] \begin{bmatrix} 2& 1 & 1 & 5\\ 0& -8 & -2 & -12\\ 0& 8 & 3 & 14 \end{bmatrix} ⎣⎡2001−881−235−1214⎦⎤ → \rightarrow → [ 2 1 1 5 0 − 8 − 2 − 12 0 0 1 2 ] \begin{bmatrix} 2& 1 & 1 & 5\\ 0& -8 & -2 & -12\\ 0& 0 & 1 & 2 \end{bmatrix} ⎣⎡2001−801−215−122⎦⎤
等到一个类似上三角矩阵的简化矩阵，之后再使用回代法即可依次求出 x y z x \ y \ z x y z各自的值。
算法复杂度
设复杂度单位是一次乘减运算，左侧矩阵是 n × n n\times n n×n的方阵。
●左侧：
n ( n − 1 ) + ⋅ ⋅ ⋅ + 1 ( 1 − 0 ) = ( 1 2 + ⋅ ⋅ ⋅ + n 2 ) − ( 1 + ⋅ ⋅ ⋅ + n ) = n 3 − n 3 n(n-1)+\cdot\cdot\cdot+1(1-0)=(1^2+\cdot\cdot\cdot+n^2)-(1+\cdot\cdot\cdot+n)=\frac{n^3-n}{3} n(n−1)+⋅⋅⋅+1(1−0)=(12+⋅⋅⋅+n2)−(1+⋅⋅⋅+n)=3n3−n
●右侧：
[ 1 + ⋅ ⋅ ⋅ + ( n − 1 ) ] = n ( n − 1 ) 2 [1+\cdot\cdot\cdot+(n-1)]=\frac{n(n-1)}{2} [1+⋅⋅⋅+(n−1)]=2n(n−1)
消元法的特例：
●交换行：
{ x + y + z = 5 2 x + 2 y + 5 z = − 2 4 x + 6 y + 8 z = 9 \left\{ \begin{matrix} x & + & y & + & z & = & 5\\ 2x & + & 2y & + & 5z & = & -2\\ 4x & + & 6y & + & 8z & = & 9 \end{matrix} \right. ⎩⎨⎧x2x4x+++y2y6y+++z5z8z===5−29 → \rightarrow → { x + y + z = 5 3 z = − 12 2 y + 4 z = − 11 \left\{ \begin{matrix} x & + & y & + & z & = & 5\\ & & & & 3z & = & -12\\ & & 2y & + & 4z & = & -11 \end{matrix} \right. ⎩⎨⎧x+y2y++z3z4z===5−12−11 → r o w e x c h a n g e \xrightarrow[]{row \ exchange} row exchange { x + y + z = 5 2 y + 4 z = − 11 3 z = − 12 \left\{ \begin{matrix} x & + & y & + & z & = & 5\\ & & 2y & + & 4z & = & -11\\ & & & & 3z & = & -12\end{matrix} \right. ⎩⎨⎧x+y2y++z4z3z===5−11−12
●无解时：
{ x + y + z = 5 2 x + 2 y + 5 z = − 2 4 x + 4 y + 8 z = 9 \left\{ \begin{matrix} x & + & y & + & z & = & 5\\ 2x & + & 2y & + & 5z & = & -2\\ 4x & + & 4y & + & 8z & = & 9 \end{matrix} \right. ⎩⎨⎧x2x4x+++y2y4y+++z5z8z===5−29 → \rightarrow → { x + y + z = 5 3 z = − 12 4 z = − 11 \left\{ \begin{matrix} x & + & y & + & z & = & 5\\ & & & & 3z & = & -12\\ & & & & 4z & = & -11 \end{matrix} \right. ⎩⎨⎧x+y+z3z4z===5−12−11 。
3 z = − 12 3z=-12 3z=−12 和 4 z = − 11 4z=-11 4z=−11矛盾，所以无解。
●无穷多解时：
{ x + y + z = 5 2 x + 3 y + 5 z = − 2 4 x + 5 y + 7 z = 8 \left\{ \begin{matrix} x & + & y & + & z & = & 5\\ 2x & + & 3y & + & 5z & = & -2\\ 4x & + & 5y & + & 7z & = & 8 \end{matrix} \right. ⎩⎨⎧x2x4x+++y3y5y+++z5z7z===5−28 → \rightarrow → { x + y + z = 5 y + 3 z = − 12 y + 3 z = − 12 \left\{ \begin{matrix} x & + & y & + & z & = & 5\\ & & y & + & 3z & = & -12\\ & & y & + & 3z & = & -12 \end{matrix} \right. ⎩⎨⎧x+yyy+++z3z3z===5−12−12 。
y y y和 z z z只要满足 y + 3 z = − 12 y+3z=-12 y+3z=−12即可，所以有无穷多解。
3、矩阵乘法
一些定律：
●结合律： ( A B ) C = A ( B C ) (AB)C=A(BC) (AB)C=A(BC)
●分配律： A ( B + C ) = A B + A C A(B+C)=AB+AC A(B+C)=AB+AC
●一般不满足交换律
内积（Inner product）：
两个向量的点积，或 1 × n 1\times n 1×n的行矩阵与 n × 1 n\times 1 n×1的列矩阵相乘，值为标量。
矩阵乘法的4种理解：
对于 A B = C AB=C AB=C的情况( A A A的大小是 m × n m\times n m×n， B B B的大小是 n × p n\times p n×p)：
●从 C C C中各个元素的角度理解：
C i , j = C_{i,j}= Ci,j=(row i i i of A A A) times (column j j j of B B B) = ∑ k = 1 n A i , k B k , j =\sum_{k=1}^{n}A_{i,k}B_{k,j} =∑k=1nAi,kBk,j
●从 C C C中各行的角度理解：
C i , : = C_{i,:}= Ci,:=(row i i i of A A A) times B B B = A i , : B =A_{i,:}B =Ai,:B
●从 C C C中各列的角度理解：
C : , j = C_{:,j}= C:,j= A A A times (column j j j of B B B) = A B : , j =AB_{:,j} =AB:,j
●从 A A A的列与 B B B的行相乘的角度理解：
C = C= C= ∑ k = 1 n \sum_{k=1}^{n} ∑k=1n(column k k k of A A A) times (row k k k of B B B) = ∑ k = 1 n A : , k B k , : =\sum_{k=1}^{n}A_{:,k}B_{k,:} =∑k=1nA:,kBk,:
4、三角因式分解（LU或LDU、LDV分解）
● L U LU LU和 L D V LDV LDV分解是唯一的。
● A = L U A=LU A=LU，设 L L L是 n × n n\times n n×n的方阵，则：
L = L= L= [ 1 0 ⋅ 0 0 l 2 , 1 1 ⋅ 0 0 ⋅ ⋅ ⋅ ⋅ ⋅ l n − 1 , 1 l n − 1 , 2 ⋅ 1 0 l n , 1 l n , 2 ⋅ l n , n − 1 1 ] \begin{bmatrix} 1& 0 & \cdot & 0 & 0 \\ l_{2,1}& 1 & \cdot & 0 & 0 \\ \cdot& \cdot & \cdot & \cdot & \cdot \\ l_{n-1,1} & l_{n-1,2}& \cdot & 1& 0 \\ l_{n,1} & l_{n,2} & \cdot & l_{n,n-1} &1 \end{bmatrix} ⎣⎢⎢⎢⎢⎡1l2,1⋅ln−1,1ln,101⋅ln−1,2ln,2⋅⋅⋅⋅⋅00⋅1ln,n−100⋅01⎦⎥⎥⎥⎥⎤
其中 l i , j l_{i,j} li,j表示第 i i i行第 j j j列的元素，其值等于第 i i i行第 j j j列元素消元时所需要减去第 j j j行的系数。
U U U是 A A A经过消元后得到的上三角矩阵。
● A = L D V A=LDV A=LDV（为了避免歧义，这里用 A = L D V A=LDV A=LDV而不用 A = L D U A=LDU A=LDU）
这里的 D V DV DV等于 L U LU LU分解中的 U U U， V V V是对对角线都是1的上三角矩阵，
D = D= D= [ u 1 , 1 0 ⋅ 0 0 u 2 , 2 ⋅ 0 ⋅ ⋅ ⋅ ⋅ 0 0 ⋅ u n , n ] \begin{bmatrix} u_{1,1}& 0 & \cdot & 0 \\ 0& u_{2,2} & \cdot & 0 \\ \cdot& \cdot & \cdot & \cdot \\ 0 & 0& \cdot & u_{n,n} \end{bmatrix} ⎣⎢⎢⎡u1,10⋅00u2,2⋅0⋅⋅⋅⋅00⋅un,n⎦⎥⎥⎤
其中 u k , k u_{k,k} uk,k表示 U U U中对角线上的元素。
●通过 L U LU LU分解可以把一个线性系统分解为两个三角系统，从而减小计算复杂度。
5、置换矩阵 P P P
● P P P是通过将 I I I的行或列进行交换得到的。
● P − 1 = P T P^{-1}=P^{T} P−1=PT
●矩阵非奇异时，总可以通过行置换的方法避免主元为0；矩阵奇异时，无论如何置换行，其总有主元为0。
6、矩阵的逆和转置
逆：
●只有非奇异矩阵（主元总可以通过行置换的方法避免为0）才有逆。
●如果存在 x ≠ 0 x\neq 0 x=0使得 A x = 0 Ax=0 Ax=0，那么 A A A没有逆。
● ( A B ) − 1 = B − 1 A − 1 (AB)^{-1}=B^{-1}A^{-1} (AB)−1=B−1A−1
●高斯-若尔当方法（Gauss-Jordan）求逆：
A x = I → [ A I ] → [ L U I ] → [ U L − 1 ] → [ I U − 1 L − 1 ] → [ I A − 1 ] Ax=I \rightarrow \begin{bmatrix} A & I \end{bmatrix} \rightarrow \begin{bmatrix} LU & I \end{bmatrix} \rightarrow \begin{bmatrix} U & L^{-1} \end{bmatrix} \rightarrow \begin{bmatrix} I & U^{-1}L^{-1} \end{bmatrix} \rightarrow \begin{bmatrix} I & A^{-1} \end{bmatrix} Ax=I→[AI]→[LUI]→[UL−1]→[IU−1L−1]→[IA−1]
●对于 A x = b Ax=b Ax=b ，使用消元法比直接用逆求 x x x更快：
A x = b → L c = b U x = c Ax=b \rightarrow Lc=b \quad Ux=c Ax=b→Lc=bUx=c
转置：
●定义： ( A T ) i j = A j i (A^{T})_{ij}=A_{ji} (AT)ij=Aji
● ( A + B ) T = A T + B T (A+B)^{T}=A^{T}+B^{T} (A+B)T=AT+BT
● ( A B ) T = B T A T (AB)^{T}=B^{T}A^{T} (AB)T=BTAT
● ( A − 1 ) T = ( A T ) − 1 (A^{-1})^{T}=(A^{T})^{-1} (A−1)T=(AT)−1
对称矩阵：
●定义： A T = A A^{T}=A AT=A
●任意矩阵 R R R乘它的转置 R T R^{T} RT就可以得到对称矩阵
●不需要行交换就能做 L D U LDU LDU分解的矩阵其 U = L T U=L^{T} U=LT
7、特殊矩阵和舍入误差
特殊矩阵：
对于 u ( x ) u(x) u(x)，其二阶差分为： − f ( x ) = d 2 u d x 2 ≈ Δ 2 u Δ x 2 = u ( x + h ) − 2 u ( x ) + u ( x − h ) h 2 → − u j + 1 + 2 u j − u j − 1 = h 2 f ( j h ) -f(x)=\frac{\mathrm{d^{2}} u}{\mathrm{d} x^{2}} \approx \frac{\mathrm{\Delta ^{2}} u}{\mathrm{\Delta } x^{2}}=\frac{u(x+h)-2u(x)+u(x-h)}{h^{2}} \rightarrow -u_{j+1}+2u_{j}-u_{j-1}=h^{2}f(jh) −f(x)=dx2d2u≈Δx2Δ2u=h2u(x+h)−2u(x)+u(x−h)→−uj+1+2uj−uj−1=h2f(jh)
可以写出其矩阵形式：
[ 2 − 1 − 1 2 − 1 − 1 2 − 1 − 1 2 − 1 − 1 2 ] [ u 1 u 2 u 3 u 4 u 5 ] = h 2 [ f ( h ) f ( 2 h ) f ( 3 h ) f ( 4 h ) f ( 5 h ) ] \begin{bmatrix} 2 & -1 & & & \\ -1 & 2 & -1 & & \\ & -1 & 2 & -1 & \\ & & -1 & 2 & -1\\ & & & -1 & 2 \end{bmatrix} \begin{bmatrix} u_{1} \\ u_{2} \\ u_{3} \\ u_{4} \\ u_{5} \end{bmatrix} =h^{2}\begin{bmatrix} f(h) \\ f(2h) \\ f(3h) \\ f(4h) \\ f(5h) \end{bmatrix} ⎣⎢⎢⎢⎢⎡2−1−12−1−12−1−12−1−12⎦⎥⎥⎥⎥⎤⎣⎢⎢⎢⎢⎡u1u2u3u4u5⎦⎥⎥⎥⎥⎤=h2⎣⎢⎢⎢⎢⎡f(h)f(2h)f(3h)f(4h)f(5h)⎦⎥⎥⎥⎥⎤
之后再使用 L D L T LDL^{T} LDLT可以减少计算量。
舍入误差：
●行列式的值如果接近0，此时在计算机进行消元时，由于舍入误差的放大效应可能会使结果偏差较大。
●在计算机进行消元时，通常会进行行交换，以将待消元列上的最大值作为主元，这样可以减小舍入误差。
扫一扫
689
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
