机器学习的数学基础之线性代数篇

机器学习的数学基础之线性代数篇

1.矩阵的基本概念

矩阵通常用大写字母表示A,B,C,D, 只有一行的矩阵叫行矩阵,只有一列的矩阵叫列矩阵

几种特殊的矩阵

方阵:行列数相等的矩阵就是方阵,方阵有主对角线和斜对角线

零矩阵:全是0的矩阵,一般用大写的O表示

对角矩阵:主对角线上的元素都是非零元素,其他位置都是0的矩阵

单位矩阵:主对角线上全是1的矩阵.记作 E n E_n En

数量阵:对角线上的元素都是非零的相同元素

三角阵:三角阵分为上三角阵和下三角阵,上三角阵是主对角线及其上方元素非零, 下三角阵是主对角线及其下方元素非零.

梯形阵:
A = ( a i j ) m × n A=(a_{ij})_{m\times n} A=(aij)m×n为非零矩阵,若非零行(即至少有一个非零元素的行)全在零行的上面, A中各非零行中的第一个(最后一个)非零元素前(后)面零元素的个数随行数增大而增多(减少), 则称为上(下)梯形矩阵. 简称为上(下)梯形阵.
[ 1 2 3 4 5 0 0 7 8 0 0 0 0 0 0 ] 是 上 梯 形 矩 阵 \left[\begin{matrix} 1\qquad 2 \qquad 3 \qquad 4 \qquad 5\\ 0\qquad 0 \qquad 7 \qquad 8 \qquad 0\\ 0 \qquad 0 \qquad 0 \qquad0 \qquad 0 \end{matrix}\right] 是上梯形矩阵 123450078000000
[ 5 7 0 12 3 0 1 2 2 1 0 0 0 8 9 0 0 0 8 1 ] 不 是 梯 形 矩 阵 \left[\begin{matrix} 5\qquad 7 \qquad 0 \qquad 12 \qquad 3\\ 0\qquad 1 \qquad 2 \qquad 2 \qquad 1\\ 0 \qquad 0 \qquad 0 \qquad8 \qquad 9 \\ 0 \qquad 0 \qquad 0 \qquad8 \qquad 1 \end{matrix}\right] 不是梯形矩阵 570123012210008900081
[ 1 0 0 0 0 − 9 6 0 0 0 1 2 3 0 0 5 2 3 3 0 ] 是 下 梯 形 矩 阵 \left[\begin{matrix} 1\qquad 0 \qquad 0 \qquad 0 \qquad 0\\-9\qquad 6 \qquad 0 \qquad 0 \qquad 0\\ 1 \qquad 2 \qquad 3 \qquad0 \qquad 0 \\ 5 \qquad 2 \qquad 3 \qquad3 \qquad 0 \end{matrix}\right] 是下梯形矩阵 10000960001230052330
简单来说就是上梯形阵0元素的个数在增加, 下梯形阵0元素的个数在减少,对增加或减少的数量没有要求.

矩阵的运算

相等
两个矩阵相等是指这两个矩阵行列数相同,且对应元素相等.即: A = ( a i j ) m × n = B = ( b i j ) m × n , 对 应 元 素 相 等 a i j = b i j A=(a_{ij})_{m \times n} = B=(b_{ij})_{m \times n}, 对应元素相等a_{ij}=b_{ij} A=(aij)m×n=B=(bij)m×n,aij=bij

加减法
矩阵的加,减法就是同型矩阵对应元素相加减.
A + B = ( a i j + b i j ) m × n A − B = ( a i j − b i j ) m × n A + B= (a_{ij} +b_{ij})_{m \times n} \qquad A - B = (a_{ij} - b_{ij})_{m \times n} A+B=(aij+bij)m×nAB=(aijbij)m×n
运算规律:
A + B = B + A , ( A + B ) + C = A + ( B + C ) A + O = A = O + A , A − A = O A +B = B +A, (A +B) +C = A +(B + C) \\ A + O = A = O + A, A - A = O A+B=B+A,(A+B)+C=A+(B+C)A+O=A=O+A,AA=O
负矩阵: A = ( a i j ) m × n 的 负 矩 阵 为 ( − a i j ) m × n A=(a_{ij})_{m\times n}的负矩阵为(-a_{ij})_{m \times n} A=(aij)m×n(aij)m×n

数乘
矩阵与数的乘法,简称数乘, k与矩阵A的数乘,记做: k A kA kA ,即每个元素和k做乘法.
运算规律:
k ( A + B ) = k A + k B k ( l A ) = ( k l ) A , ( k + l ) A = k A + l A k(A +B)= kA + kB \\k(lA)=(kl)A, (k + l)A=kA +lA k(A+B)=kA+kBk(lA)=(kl)A,(k+l)A=kA+lA

矩阵的乘法:
[ a 11 a 12 a 13 a 21 a 22 a 23 ] [ b 11 b 12 b 21 b 22 b 31 b 32 ] = \left[\begin{matrix} a_{11}\qquad a_{12} \qquad a_{13} \\ a_{21}\qquad a_{22} \qquad a_{23} \end{matrix}\right] \left[\begin{matrix} b_{11}\qquad b_{12} \\ b_{21}\qquad b_{22} \\b_{31} \qquad b_{32} \end{matrix}\right] = [a11a12a13a21a22a23]b11b12b21b22b31b32=
[ a 11 b 11 + a 12 b 21 + a 13 b 31 a 11 b 12 + a 12 b 22 + a 13 b 32 a 21 b 11 + a 22 b 21 + a 23 b 31 a 21 b 12 + a 22 b 22 + a 23 b 32 ] \left[\begin{matrix} a_{11}b_{11} + a_{12}b_{21} + a_{13}b_{31} \qquad a_{11}b_{12} + a_{12}b_{22} + a_{13}b_{32}\\ a_{21}b_{11} + a_{22}b_{21} + a_{23}b_{31} \qquad a_{21}b_{12} + a_{22}b_{22} + a_{23}b_{32} \end{matrix}\right] [a11b11+a12b21+a13b31a11b12+a12b22+a13b32a21b11+a22b21+a23b31a21b12+a22b22+a23b32]
简单地说矩阵的相乘就是第一个矩阵的行的每个元素乘以第二个矩阵的列对应的每个元素,将这些元素相乘的积加起来,得到的值就是对应的位置的值.
一般地, 有:
A = ( a i j ) m × s B = ( b i j ) s × n C = A B = ( C i j ) m × n A=(a_{ij})_{m\times s} \qquad B=(b_{ij})_{s \times n} \qquad C=AB=(C_{ij})_{m\times n} A=(aij)m×sB=(bij)s×nC=AB=(Cij)m×n
C m × n = A m × s B s × n C_{m\times n} = A_{m\times s}B_{s\times n} Cm×n=Am×sBs×n

A和B满足相乘的条件是:A的列数要和B的行数相同.

总结: 矩阵乘法和实数乘法有一下三点不同:

  1. 矩阵乘法不满足交换律.
  2. 矩阵乘法不满足消去律.
  3. 矩阵乘法有非零的零因子.

矩阵乘法满足下面的规律:

  1. ( A B ) C = A ( B C ) (AB)C=A(BC) (AB)C=A(BC)
  2. A ( B + C ) = A B + A C ( B + C ) A = B A + C A A(B+C)=AB +AC\\(B+C)A = BA + CA A(B+C)=AB+AC(B+C)A=BA+CA
  3. k ( A B ) = ( k A ) B = A ( k B ) k(AB)=(kA)B=A(kB) k(AB)=(kA)B=A(kB)
  4. E m A m × n = A = A m × n E n E_mA_{m \times n} =A = A_{m\times n}E_n EmAm×n=A=Am×nEn

方阵的正整数幂

A k = A A ⋯ A A^k = AA\cdots A Ak=AAA

规定 A 0 = E A^0=E A0=E(和实数里面规定任何数的0次方等于1一样的意思)

A k + l = A k A l A^{k+l} = A^kA^l Ak+l=AkAl

矩阵的转置

就是把矩阵的行变成列, 列变成行.

A = [ a 11 a 12 … a 1 n a 21 a 22 … a 2 n ⋯ ⋯ ⋯ ⋯ a m 1 a m 2 … a m n ] A=\left[\begin{matrix} a_{11}\qquad a_{12} \qquad \ldots \qquad a_{1n}\\ a_{21}\qquad a_{22} \qquad \ldots \qquad a_{2n} \\ \cdots \cdots \cdots \cdots\\ a_{m1} \qquad a_{m2} \qquad \ldots \qquad a_{mn}\end{matrix}\right] A=a11a12a1na21a22a2nam1am2amn

A T = [ a 11 a 21 … a m 1 a 12 a 22 … a m 2 ⋯ ⋯ ⋯ ⋯ a 1 n a 2 n … a m n ] A^T=\left[\begin{matrix} a_{11}\qquad a_{21} \qquad \ldots \qquad a_{m1}\\ a_{12}\qquad a_{22} \qquad \ldots \qquad a_{m2} \\ \cdots \cdots \cdots \cdots\\ a_{1n} \qquad a_{2n} \qquad \ldots \qquad a_{mn}\end{matrix}\right] AT=a11a21am1a12a22am2a1na2namn

转置的运算规律
( A + B ) T = A T + B T ( k A ) T = k A T (A+B)^T=A^T+B^T\\(kA)^T=kA^T (A+B)T=AT+BT(kA)T=kAT
( A B C ) T = C T B T A T (ABC)^T= C^TB^TA^T (ABC)T=CTBTAT

对称矩阵和反对称矩阵
如果一个矩阵, 它的转置和它本身相等, 我们就把这个矩阵叫做对称阵.
对 称 阵 : A T = A , a i j = a j i 对称阵: A^T=A, a_{ij}=a_{ji} :AT=A,aij=aji
反 对 称 阵 : A T = − A , a i j = − a j i 且 , a i i = 0 反对称阵: A^T=-A, a_{ij}=-a_{ji}且,a_{ii}= 0 :AT=A,aij=aji,aii=0

任何方阵都可以分解为对称阵和反对称阵的和:
显然: A = A + A T 2 + A − A T 2 A=\frac{A+A^T}{2} + \frac{A - A^T}{2} A=2A+AT+2AAT

矩阵的初等变换
以下三种变换分别称为矩阵的第一, 第二, 第三种初等变换:

  1. 对换矩阵中的第 i , j i,j i,j两行(列)的位置, 记做 r i j ( c i j ) 或 r_{ij}(c_{ij})或 rij(cij) r i < − > r j ( c i < − > c j ) r_i <->r_j (c_i <-> c_j) ri<>rj(ci<>cj)
  2. 用非零常数k乘第 i i i行(列), 记做 k r i ( k c i ) kr_i(kc_i) kri(kci)
  3. 用矩阵的第 j j j行(列)乘以常数 k k k后加到第 i i i行(列)对应元素上去, 记做 r i + k r j ( c i + k c j ) r_i + kr_j(c_i + kc_j) ri+krj(ci+kcj)

矩阵初等变换是线性代数中非常重要的一个工具.对应求解方程组中使用的消元法.

初等变换可以简化矩阵, 比如可以将矩阵转化为梯形阵.

矩阵的等价

对矩阵A实行有限次初等变换得到矩阵B, 则称矩阵A与B等价, 记做 A ≅ B A\cong B AB A → B A \rightarrow B AB

等价的矩阵具有自反性, 对称性和传递性.即:

A ≅ A ; A ≅ B ⇒ B ≅ A ; A ≅ B , B ≅ C ⇒ A ≅ C A \cong A; \qquad A \cong B \Rightarrow B \cong A; \qquad A \cong B, B \cong C \Rightarrow A \cong C AA;ABBA;AB,BCAC

A ≅ [ 1 0 ⋯ 0 0 ⋯ 0 0 1 ⋯ 0 0 ⋯ 0 ⋮ ⋮ ⋱ ⋮ ⋮ ⋯ ⋮ 0 0 ⋯ 1 0 ⋯ 0 0 0 ⋯ 0 0 ⋯ 0 ⋮ ⋮ ⋱ ⋮ ⋮ ⋯ ⋮ 0 0 ⋯ 0 0 ⋯ 0 ] ( A 的 等 价 标 准 型 ) A \cong \left[\begin{matrix} 1\qquad 0 \qquad \cdots \qquad 0 \qquad 0 \qquad \cdots \qquad 0\\ 0\qquad 1 \qquad \cdots \qquad 0 \qquad 0 \qquad \cdots \qquad 0\\ \vdots \qquad \vdots \qquad \ddots \qquad \vdots \qquad \vdots \qquad \cdots \qquad \vdots \\ 0\qquad 0 \qquad \cdots \qquad 1 \qquad 0 \qquad \cdots \qquad 0\\0\qquad 0 \qquad \cdots \qquad 0 \qquad 0 \qquad \cdots \qquad 0 \\ \vdots \qquad \vdots \qquad \ddots \qquad \vdots \qquad \vdots \qquad \cdots \qquad \vdots \\0\qquad 0 \qquad \cdots \qquad 0 \qquad 0 \qquad \cdots \qquad 0 \end{matrix}\right](A的等价标准型) A1000001000001000000000000(A)

定理: 任何一个矩阵都有等价标准型

2.行列式

行列式概念的引进

先来看一个方程组:

a 11 x 1 + a 12 x 2 = b 1 , a 21 x 1 + a 22 x 2 = b 2 a_{11}x_1 + a_{12}x_2 = b_1, \\a_{21}x_1 +a_{22}x_2=b_2 a11x1+a12x2=b1,a21x1+a22x2=b2

假设此方程组有解.即: a 11 a 22 − a 12 a 21 ≠ 0. a_{11}a_{22}-a_{12}a_{21} \neq 0. a11a22a12a21=0. x 1 和 x 2 x_1和x_2 x1x2

一般会用高斯消元法求解.第一个方程乘上 a 22 a_{22} a22,第二个方程乘上 a 12 a_{12} a12, 两个方程相减,消掉 x 2 x_2 x2得到 x 1 x_1 x1的表达式.

x 1 = a 22 b 1 − a 12 b 2 a 11 a 2 2 − a 12 a 21 x_1 = \frac{a_{22}b_1 - a_{12}b_2}{a_{11}a_22-a_{12}a_{21}} x1=a11a22a12a21a22b1a12b2

同理可得:

x 2 = a 11 b 2 − a 21 b 1 a 11 a 2 2 − a 12 a 21 x_2 = \frac{a_{11}b_2 - a_{21}b_1}{a_{11}a_22-a_{12}a_{21}} x2=a11a22a12a21a11b2a21b1

为了记忆, 我们引进记号

约 定 ∣ a 11 a 12 a 12 a 22 ∣ = a 11 a 2 2 − a 12 a 21 , 这 个 式 子 就 叫 做 行 列 式 约定 \left| \begin{matrix} a_{11} \quad a_{12} \\ a_{12} \quad a_{22} \end{matrix} \right| = a_{11}a_22-a_{12}a_{21},这个式子就叫做行列式 a11a12a12a22=a11a22a12a21,

行列式其实就是速记的符号,上面的行列式是二阶行列式.

这样 x 1 , x 2 x_1, x_2 x1,x2就有了新的表达式

x 1 = ∣ b 1 a 12 b 2 a 22 ∣ ∣ a 11 a 12 a 12 a 22 ∣ , x 2 = ∣ a 11 b 1 a 21 b 2 ∣ ∣ a 11 a 12 a 12 a 22 ∣ x_1 = \frac {\left| \begin{matrix} b_{1} \quad a_{12} \\ b_2 \quad a_{22} \end{matrix} \right|}{\left| \begin{matrix} a_{11} \quad a_{12} \\ a_{12} \quad a_{22} \end{matrix} \right|}, \quad x_2= \frac{\left| \begin{matrix} a_{11} \quad b_{1} \\ a_{21} \quad b_{2} \end{matrix} \right|}{\left| \begin{matrix} a_{11} \quad a_{12} \\ a_{12} \quad a_{22} \end{matrix} \right|} x1=a11a12a12a22b1a12b2a22,x2=a11a12a12a22a11b1a21b2

再来看一下三阶行列式:

a 11 x 1 + a 12 x 2 + a 13 x 3 = b 1 , a 21 x 1 + a 22 x 2 + a 23 x 3 = b 2 , a 31 x 1 + a 32 x 2 + a 33 x 3 = b 3. a_{11}x_1 +a_{12}x_2 + a_{13}x_3=b_1, \\a_{21}x_1+a_{22}x_2+a_{23}x_3=b2,\\a_{31}x_1 + a_{32}x_2 +a_{33}x_3=b3. a11x1+a12x2+a13x3=b1,a21x1+a22x2+a23x3=b2,a31x1+a32x2+a33x3=b3.

使 用 高 斯 消 元 法 得 到 x 1 , x 2 , x 3 的 分 母 为 a 11 a 22 a 33 + a 12 a 23 a 31 + a 13 a 21 a 32 − a 13 a 22 a 31 − a 11 a 23 a 32 − a 12 a 21 a 33 使用高斯消元法得到x_1, x_2, x_3的分母为a_{11}a_{22}a_{33} + a_{12}a_{23}a_{31} + a_{13}a_{21}a_{32} - a_{13}a_{22}a_{31} - a_{11}a_{23}a_{32} - a_{12}a_{21}a_{33} 使x1,x2,x3a11a22a33+a12a23a31+a13a21a32a13a22a31a11a23a32a12a21a33

我们定义以下式子为三阶行列式.

∣ a 11 a 12 a 13 a 12 a 22 a 23 a 31 a 32 a 33 ∣ = a 11 a 22 a 33 + a 12 a 23 a 31 + a 13 a 21 a 32 − a 13 a 22 a 31 − a 11 a 23 a 32 − a 12 a 21 a 33 \left| \begin{matrix} a_{11} \quad a_{12} \quad a_{13}\\ a_{12} \quad a_{22} \quad a_{23} \\ a_{31} \quad a_{32} \quad a_{33}\end{matrix} \right| = a_{11}a_{22}a_{33} + a_{12}a_{23}a_{31} + a_{13}a_{21}a_{32} - a_{13}a_{22}a_{31} - a_{11}a_{23}a_{32} - a_{12}a_{21}a_{33} a11a12a13a12a22a23a31a32a33=a11a22a33+a12a23a31+a13a21a32a13a22a31a11a23a32a12a21a33

练习计算以下矩阵的行列式的值:

∣ 1 4 3 − 5 2 1 3 6 1 ∣ \left| \begin{matrix} 1 \quad 4 \quad 3\\ -5 \quad 2 \quad 1 \\ 3 \quad 6 \quad 1\end{matrix} \right| 143521361

∣ 1 0 0 − 5 2 3 3 3 5 ∣ \left| \begin{matrix} 1 \quad 0 \quad 0\\ -5 \quad 2 \quad 3 \\ 3 \quad 3 \quad 5\end{matrix} \right| 100523335

n阶行列式&代数余子式

D = ∣ a 11 a 12 a 13 a 12 a 22 a 23 a 31 a 32 a 33 ∣ = a 11 a 22 a 33 + a 12 a 23 a 31 + a 13 a 21 a 32 − a 13 a 22 a 31 − a 11 a 23 a 32 − a 12 a 21 a 33 D=\left| \begin{matrix} a_{11} \quad a_{12} \quad a_{13}\\ a_{12} \quad a_{22} \quad a_{23} \\ a_{31} \quad a_{32} \quad a_{33}\end{matrix} \right| = a_{11}a_{22}a_{33} + a_{12}a_{23}a_{31} + a_{13}a_{21}a_{32} - a_{13}a_{22}a_{31} - a_{11}a_{23}a_{32} - a_{12}a_{21}a_{33} D=a11a12a13a12a22a23a31a32a33=a11a22a33+a12a23a31+a13a21a32a13a22a31a11a23a32a12a21a33

= a 11 ( a 22 a 33 − a 23 a 32 ) + a 12 ( a 23 a 31 − a 21 a 33 ) + a 13 ( a 21 a 32 − a 22 a 31 ) =a_{11}(a_{22}a_{33} - a_{23}a_{32}) +a_{12}(a_{23}a_{31} - a_{21}a_{33}) + a_{13}(a_{21}a_{32} - a_{22}a_{31}) =a11(a22a33a23a32)+a12(a23a31a21a33)+a13(a21a32a22a31)

= a 11 ∣ a 22 a 23 a 32 a 33 ∣ − a 12 a 11 ∣ a 21 a 23 a 31 a 33 ∣ + a 13 ∣ a 21 a 22 a 31 a 32 ∣ =a_{11}\left| \begin{matrix} a_{22} \quad a_{23} \\ a_{32} \quad a_{33} \end{matrix} \right| - a_{12}a_{11}\left| \begin{matrix} a_{21} \quad a_{23} \\ a_{31} \quad a_{33} \end{matrix} \right| + a_{13}\left| \begin{matrix} a_{21} \quad a_{22} \\ a_{31} \quad a_{32} \end{matrix} \right| =a11a22a23a32a33a12a11a21a23a31a33+a13a21a22a31a32

= a 11 ( − 1 ) 1 + 1 ∣ a 22 a 23 a 32 a 33 ∣ − a 12 ( − 1 ) 1 + 2 ∣ a 21 a 23 a 31 a 33 ∣ + a 13 ( − 1 ) 1 + 3 ∣ a 21 a 22 a 31 a 32 ∣ =a_{11}(-1)^{1+1}\left| \begin{matrix} a_{22} \quad a_{23} \\ a_{32} \quad a_{33} \end{matrix} \right| - a_{12}(-1)^{1+2}\left| \begin{matrix} a_{21} \quad a_{23} \\ a_{31} \quad a_{33} \end{matrix} \right| + a_{13}(-1)^{1 + 3}\left| \begin{matrix} a_{21} \quad a_{22} \\ a_{31} \quad a_{32} \end{matrix} \right| =a11(1)1+1a22a23a32a33a12(1)1+2a21a23a31a33+a13(1)1+3a21a22a31a32

A 11 = ( − 1 ) 1 + 1 ∣ a 22 a 23 a 32 a 33 ∣ , A 12 = ( − 1 ) 1 + 2 ∣ a 21 a 23 a 31 a 33 ∣ , A 13 = ( − 1 ) 1 + 3 ∣ a 21 a 22 a 31 a 32 ∣ A_{11} = (-1)^{1+1}\left| \begin{matrix} a_{22} \quad a_{23} \\ a_{32} \quad a_{33} \end{matrix} \right|, A_{12}=(-1)^{1+2}\left| \begin{matrix} a_{21} \quad a_{23} \\ a_{31} \quad a_{33} \end{matrix} \right|, A_{13}=(-1)^{1 + 3}\left| \begin{matrix} a_{21} \quad a_{22} \\ a_{31} \quad a_{32} \end{matrix} \right| A11=(1)1+1a22a23a32a33,A12=(1)1+2a21a23a31a33,A13=(1)1+3a21a22a31a32

D = a 11 A 11 + a 12 A 12 + a 13 A 13 D = a_{11}A_{11} +a_{12}A_{12} + a_{13}A_{13} D=a11A11+a12A12+a13A13

类似地有 D = a i 1 A i 1 + a i 2 A i 2 + a i 3 A i 3 , i = 1 , 2 , 3 D = a_{i1}A_{i1} +a_{i2}A_{i2} + a_{i3}A_{i3}, i=1,2,3 D=ai1Ai1+ai2Ai2+ai3Ai3,i=1,2,3

D = a 1 j A 1 j + a 2 j A 2 j + a 3 j A 3 j , j = 1 , 2 , 3 D = a_{1j}A_{1j} +a_{2j}A_{2j} + a_{3j}A_{3j}, j=1,2,3 D=a1jA1j+a2jA2j+a3jA3j,j=1,2,3

A i j 称 为 元 素 a i j 的 代 数 余 子 式 A_{ij}称为元素a_{ij}的代数余子式 Aijaij

行列式的性质:
性质1: D = D T D=D^T D=DT
性质2: 互换两行, 行列式变号
推论1: 若行列式中有两行元素完全相同, 则行列式为0.

∣ D ∣ = − ∣ D ∣ ⇒ 0 |D| = -|D| \Rightarrow 0 D=D0

推论2:设 A i j 为 元 素 a i j 的 代 数 余 子 式 , 则 有 A_{ij}为元素a_{ij}的代数余子式, 则有 Aijaij,

a j 1 A i 1 + a j 2 A i 2 + ⋯ + a j n A i n = 0 ( i ≠ j ) a_{j1}A_{i1} +a_{j2}A_{i2}+ \cdots + a_{jn}A_{in} = 0 (i \neq j) aj1Ai1+aj2Ai2++ajnAin=0(i=j)
推论2的简略证明:
一般地,我们的行列式 D = a i 1 A i 1 + a i 2 A i 2 + ⋯ + a i n A i n D=a_{i1}A_{i1} + a_{i2}A_{i2} + \cdots + a_{in}A_{in} D=ai1Ai1+ai2Ai2++ainAin 如果又有 D = a j 1 A i 1 + a j 2 A j 2 + ⋯ + a j n A i n D=a_{j1}A_{i1} + a_{j2}A_{j2} + \cdots + a_{jn}A_{in} D=aj1Ai1+aj2Aj2++ajnAin 则说明行列式中有两行元素完全相同,所以 D = 0 D = 0 D=0即反证 a j 1 A i 1 + a j 2 A i 2 + ⋯ + a j n A i n = 0 ( i ≠ j ) a_{j1}A_{i1} +a_{j2}A_{i2}+ \cdots + a_{jn}A_{in} = 0 (i \neq j) aj1Ai1+aj2Ai2++ajnAin=0(i=j)

性质3: 用数k乘行列式中某一行的所有元素, 等于用k乘此行列式.即:

∣ a 11 a 12 ⋯ a 1 n ⋮ ⋮ ⋯ ⋮ a i 1 a i 2 ⋯ a i n ⋮ ⋮ ⋯ ⋮ a n 1 a n 2 ⋯ a n n ∣ = k ∣ a 11 a 12 ⋯ a 1 n ⋮ ⋮ ⋯ ⋮ a i 1 a i 2 ⋯ a i n ⋮ ⋮ ⋯ ⋮ a n 1 a n 2 ⋯ a n n ∣ \left| \begin{matrix} a_{11} \quad a_{12} \quad \cdots \quad a_{1n} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{i1} \quad a_{i2} \quad \cdots \quad a_{in} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{n1} \quad a_{n2} \quad \cdots \quad a_{nn} \end{matrix} \right|= k\left| \begin{matrix} a_{11} \quad a_{12} \quad \cdots \quad a_{1n} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{i1} \quad a_{i2} \quad \cdots \quad a_{in} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{n1} \quad a_{n2} \quad \cdots \quad a_{nn} \end{matrix} \right| a11a12a1nai1ai2ainan1an2ann=ka11a12a1nai1ai2ainan1an2ann

推论: 某一行的所有元素的公因子可以提到行列式符号的外面.

性质4: 行列式某一行元素加上另一行对应元素的k倍, 行列式的值不变.即:

∣ a 11 a 12 ⋯ a 1 n ⋮ ⋮ ⋯ ⋮ a i 1 + k a j 1 a i 2 ⋯ a i n + k a j n ⋮ ⋮ ⋯ ⋮ a j 1 a j 2 ⋯ a j n ⋮ ⋮ ⋯ ⋮ a n 1 a n 2 ⋯ a n n ∣ = ∣ a 11 a 12 ⋯ a 1 n ⋮ ⋮ ⋯ ⋮ a i 1 a i 2 ⋯ a i n ⋮ ⋮ ⋯ ⋮ a j 1 a j 2 ⋯ a j n ⋮ ⋮ ⋯ ⋮ a n 1 a n 2 ⋯ a n n ∣ \left| \begin{matrix} a_{11} \quad a_{12} \quad \cdots \quad a_{1n} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{i1} + ka_{j1} \quad a_{i2} \quad \cdots \quad a_{in} + ka_{jn} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{j1} \quad a_{j2} \quad \cdots \quad a_{jn} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{n1} \quad a_{n2} \quad \cdots \quad a_{nn} \end{matrix} \right|= \left| \begin{matrix} a_{11} \quad a_{12} \quad \cdots \quad a_{1n} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{i1} \quad a_{i2} \quad \cdots \quad a_{in} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{j1} \quad a_{j2} \quad \cdots \quad a_{jn} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{n1} \quad a_{n2} \quad \cdots \quad a_{nn} \end{matrix} \right| a11a12a1nai1+kaj1ai2ain+kajnaj1aj2ajnan1an2ann=a11a12a1nai1ai2ainaj1aj2ajnan1an2ann

根据第i行展开 ( a i 1 + k a j 1 ) A i 1 + ( a i 2 + k a j 2 ) A i 2 + ⋯ + ( a i n + k a j n ) A i n (a_{i1} + ka_{j1})A_{i1} + (a_{i2} + ka_{j2})A_{i2} + \cdots + (a_{in} + ka_{jn})A_{in} (ai1+kaj1)Ai1+(ai2+kaj2)Ai2++(ain+kajn)Ain

展 开 : a i 1 A i 1 + a i 2 A i 2 + ⋯ + a i n A i n + k a j 1 A i 1 + ⋯ + k a j n A i n 展开:a_{i1}A_{i1} + a_{i2}A_{i2} + \cdots + a_{in}A_{in} +ka_{j1}A_{i1} + \cdots + ka_{jn}A_{in} :ai1Ai1+ai2Ai2++ainAin+kaj1Ai1++kajnAin

根 据 根据 a j 1 A i 1 + a j 2 A i 2 + ⋯ + a j n A i n = 0 ( i ≠ j ) 得 到 结 论 a_{j1}A_{i1} +a_{j2}A_{i2}+ \cdots + a_{jn}A_{in} = 0 (i \neq j)得到结论 aj1Ai1+aj2Ai2++ajnAin=0(i=j)

性质5: 若行列式某一行的元素是两数之和,则行列式可拆成两个行列式的和.即:

∣ a 11 a 12 ⋯ a 1 n ⋮ ⋮ ⋯ ⋮ a i 1 + b 1 a i 2 + b 2 ⋯ a i n + b n ⋮ ⋮ ⋯ ⋮ a n 1 a n 2 ⋯ a n n ∣ = ∣ a 11 a 12 ⋯ a 1 n ⋮ ⋮ ⋯ ⋮ a i 1 a i 2 ⋯ a i n ⋮ ⋮ ⋯ ⋮ a n 1 a n 2 ⋯ a n n ∣ + ∣ a 11 a 12 ⋯ a 1 n ⋮ ⋮ ⋯ ⋮ b 1 b 2 ⋯ b n ⋮ ⋮ ⋯ ⋮ a n 1 a n 2 ⋯ a n n ∣ \left| \begin{matrix} a_{11} \quad a_{12} \quad \cdots \quad a_{1n} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{i1} + b_1 \quad a_{i2}+ b_2 \quad \cdots \quad a_{in}+b_n \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{n1} \quad a_{n2} \quad \cdots \quad a_{nn} \end{matrix} \right|= \left| \begin{matrix} a_{11} \quad a_{12} \quad \cdots \quad a_{1n} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{i1} \quad a_{i2} \quad \cdots \quad a_{in} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{n1} \quad a_{n2} \quad \cdots \quad a_{nn} \end{matrix} \right| + \left| \begin{matrix} a_{11} \quad a_{12} \quad \cdots \quad a_{1n} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ b_1 \quad b_2 \quad \cdots \quad b_n \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{n1} \quad a_{n2} \quad \cdots \quad a_{nn} \end{matrix} \right| a11a12a1nai1+b1ai2+b2ain+bnan1an2ann=a11a12a1nai1ai2ainan1an2ann+a11a12a1nb1b2bnan1an2ann

推论: 若行列式某一行的元素都是m个元素的和. 则行列式可以写成m个行列式的和.

3.矩阵的秩

伴随矩阵
定义:

A = ∣ a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋮ ⋮ ⋯ ⋮ a n 1 a n 2 ⋯ a n n ∣ , A i j 为 a i j 的 代 数 余 子 式 , 使 用 A i j 作 为 元 素 排 成 一 个 新 的 矩 阵 A=\left| \begin{matrix} a_{11} \quad a_{12} \quad \cdots \quad a_{1n} \\ a_{21} \quad a_{22} \quad \cdots \quad a_{2n} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{n1} \quad a_{n2} \quad \cdots \quad a_{nn} \end{matrix} \right|, A_{ij}为a_{ij}的代数余子式,使用A_{ij}作为元素排成一个新的矩阵 A=a11a12a1na21a22a2nan1an2ann,Aijaij,使Aij

矩阵的秩
首先出k阶子式的定义: 在 A m × n 的 矩 阵 中 任 取 k 行 k 列 , 位 于 这 些 行 列 相 交 处 的 k 2 个 元 素 , 按 原 次 序 组 成 的 k 阶 行 列 式 , 称 为 矩 阵 A 的 k 阶 子 式 . 在A_{m\times n}的矩阵中任取k行k列, 位于这些行列相交处的k^2个元素, 按原次序组成的k阶行列式,称为矩阵A的k阶子式. Am×nkk,k2,k,Ak.

一般的:

m × n 矩 阵 A 的 k 阶 子 式 有 C m k C n k 个 . m \times n矩阵A的k阶子式有C^k_mC^k_n个. m×nAkCmkCnk.

秩的定义: 矩 阵 A 的 所 有 不 等 于 零 的 子 式 的 最 高 阶 数 称 为 矩 阵 A 的 秩 , 记 做 r ( A ) . 矩阵A的所有不等于零的子式的最高阶数称为矩阵A的秩,记做r(A). AA,r(A).
显然: r ( O ) = 0 ; 只 要 A 不 是 零 矩 阵 , 就 有 r ( A ) > 0 , 并 且 : r(O)=0; 只要A不是零矩阵, 就有r(A)>0,并且: r(O)=0;A,r(A)>0,:

1. r ( A m × n ) ≤ m i n { m , n } ; 1. r(A_{m \times n}) \leq min\{m,n\}; 1.r(Am×n)min{m,n};

2. 若 有 一 个 r 阶 子 式 不 为 零 , 则 r ( A ) ≥ r , 若 所 有 的 r 阶 子 式 全 为 零 , 则 r ( A ) < r . 2. 若有一个r阶子式不为零, 则r(A)\geq r,\\ 若所有的r阶子式全为零, 则r(A)\lt r. 2.r,r(A)r,r,r(A)<r.

3. r ( A T ) = r ( A ) 3. r(A^T) = r(A) 3.r(AT)=r(A)

4. 设 A n × n , 若 ∣ A ∣ ≠ 0 , 则 r ( A ) = n ; , 若 ∣ A ∣ = 0 , 则 r ( A ) < n 4. 设A_{n\times n}, 若|A|\neq 0, 则r(A)=n;, 若|A|=0, 则r(A)\lt n 4.An×n,A=0,r(A)=n;,A=0,r(A)<n

定理: 矩阵经初等变换后, 其秩不变.

初等变换可能会改变 k k k阶子式的大小, 但是不会改变 k k k阶子式是否为0的状态.

结论: A 是 梯 形 阵 , 梯 形 阵 的 秩 是 梯 形 阵 中 非 零 行 的 函 数 . 可 以 通 过 初 等 变 换 讲 矩 阵 变 换 为 梯 形 阵 , 然 后 快 速 计 算 矩 阵 的 秩 . A是梯形阵, 梯形阵的秩是梯形阵中非零行的函数. 可以通过初等变换讲矩阵变换为梯形阵,然后快速计算矩阵的秩. A,.,.

矩阵的秩是矩阵的一个重要的数字特征.

显然, 若两个矩阵有相同的秩, 则这两个矩阵有相同的标准形, 从而等价, 反之, 若两个矩阵等价, 则他们的秩相同.

定理: 矩 阵 A 与 B 等 价 的 充 分 必 要 条 件 是 r ( A ) = r ( B ) . 矩阵A与B等价的充分必要条件是r(A)=r(B). ABr(A)=r(B).

满秩矩阵

定义: 若方阵A的秩与其阶数相等, 则称A为满秩矩阵;否则称为降秩矩阵.

定理: 设A为满秩矩阵, 则A的标准形为同阶单位矩阵E, 即

A ≅ E A \cong E AE

定义: 若方阵A的行列式 ∣ A ∣ ≠ 0 , 则 称 A 为 非 奇 异 矩 阵 ; 若 ∣ A ∣ = 0 , 则 称 A 为 奇 异 矩 阵 . |A|\neq 0, 则称A为非奇异矩阵; 若|A|=0, 则称A为奇异矩阵. A=0,A;A=0,A.

满秩的一定是非奇异的, 降秩的一定是奇异的.

4.逆矩阵

引入逆矩阵.

在 数 中 设 a ≠ 0 , 那 么 一 定 能 找 到 a − 1 , 使 a a − 1 = a − 1 a = 1 在数中设a\neq 0, 那么一定能找到a^{-1}, 使aa^{-1} = a^{-1}a=1 a=0,a1,使aa1=a1a=1

那 么 在 矩 阵 中 , 对 于 非 零 矩 阵 A ≠ O , 能 否 找 到 矩 阵 B , 使 那么在矩阵中, 对于非零矩阵A \neq O, 能否找到矩阵B,使 ,A=O,B,使

A B = B A = E AB=BA=E AB=BA=E

例如: A = [ 1 0 0 0 ] , 假 如 有 B = [ a b c d ] 使 得 A B = B A = E A= \left[ \begin{matrix} 1 \quad 0 \\ 0 \quad 0 \end{matrix} \right], 假如有B=\left[ \begin{matrix} a \quad b \\ c \quad d \end{matrix} \right] 使得AB=BA=E A=[1000],B=[abcd]使AB=BA=E

[ 1 0 0 0 ] [ a b c d ] = [ a b 0 0 ] = [ 1 0 0 1 ] \left[ \begin{matrix} 1 \quad 0 \\ 0 \quad 0 \end{matrix} \right]\left[ \begin{matrix} a \quad b \\ c \quad d \end{matrix} \right]= \left[ \begin{matrix} a \quad b \\ 0 \quad 0 \end{matrix} \right]= \left[ \begin{matrix} 1 \quad 0 \\ 0 \quad 1 \end{matrix} \right] [1000][abcd]=[ab00]=[1001]

⇒ 0 = 1 , 这 显 然 是 不 可 能 的 , 所 以 不 是 所 有 的 非 零 矩 阵 都 能 找 到 矩 阵 B , 使 得 A B = B A = E \Rightarrow 0 = 1, 这显然是不可能的, 所以不是所有的非零矩阵都能找到矩阵B,使得AB=BA=E 0=1,,B,使AB=BA=E

我们一般研究存在B矩阵, 使得 A B = B A = E 的 情 况 . AB=BA=E的情况. AB=BA=E.

定义: 对n阶方阵A, 若有n阶矩阵B使得 A B = B A = E AB=BA=E AB=BA=E, 则称B为A的逆矩阵, 称A为可逆的.

(1) 逆矩阵是唯一的.A的逆矩阵记为: A − 1 A^{-1} A1

证明: 设 B , C 都 是 A 的 逆 , 则 B = E B = ( C A ) B = C ( A B ) = C E = C B,C都是A的逆, 则 B=EB=(CA)B=C(AB)=CE=C B,CA,B=EB=(CA)B=C(AB)=CE=C

(2) 并非每个方阵都有逆矩阵.

定理: n阶方阵A可逆的充分必要条件是 ∣ A ∣ ≠ 0 |A| \neq0 A=0

证明: 由 A 可 逆 得 知 A A − 1 = E , 两 边 取 行 列 式 由A可逆得知AA^{-1}=E, 两边取行列式 AAA1=E,

∣ A A − 1 ∣ = ∣ A ∣ ∣ A − 1 ∣ = ∣ E ∣ = 1 ⇒ ∣ A ∣ ≠ 0 |AA^{-1}| = |A||A^{-1}| = |E| = 1 \Rightarrow |A| \neq0 AA1=AA1=E=1A=0

$由|A| \neq 0, AA^{\star} = A^{\star}A=|A|E $

⇒ A ( 1 ∣ A ∣ A ⋆ ) = ( A A − 1 ) = E \Rightarrow A(\frac{1}{|A|}A^{\star}) = (AA^{-1})=E A(A1A)=(AA1)=E

A − 1 = 1 ∣ A ∣ A ⋆ A^{-1}=\frac{1}{|A|}A^{\star} A1=A1A

∣ A ∣ ≠ 0 |A|\neq0 A=0表示矩阵是非奇异的, 非奇异方阵一定是满秩的, 满秩矩阵的等价标准形是单位矩阵

例: 求 A = [ a b c d ] ( a d − b c ≠ 0 ) 的 逆 A=\left[ \begin{matrix} a \quad b \\ c \quad d \end{matrix} \right](ad-bc\neq0)的逆 A=[abcd](adbc=0)

解: A − 1 = 1 ∣ A ∣ A ⋆ = 1 a d − b c [ d − b − c a ] A^{-1}=\frac{1}{|A|}A^{\star}=\frac{1}{ad-bc}\left[ \begin{matrix} d \quad -b \\ -c \quad a \end{matrix} \right] A1=A1A=adbc1[dbca]
如果用代码求出:

import numpy as np
m = np.random.randint(0,9,(4,4))
m_1 = np.linalg.matrix_rank(m)  # 求矩阵的秩
m_inv = np.linalg.inv(m)  # 求逆矩阵
display(m,m_1,m_inv)
5.向量

n维向量的概念
1.定义1: 由 数 a 1 , a 2 , ⋯   , a n 组 成 的 有 序 数 组 , 称 为 n 维 向 量 , 简 称 向 量 由数a_1, a_2, \cdots, a_n组成的有序数组, 称为n维向量,简称向量 a1,a2,,an,n,向量通常用斜体希腊字母表示如: α , β , γ \alpha, \beta, \gamma α,β,γ α = ( a 1 , a 2 , ⋯   , a n ) 叫 做 行 向 量 , 其 中 的 a i 是 向 量 的 分 量 . \alpha = (a_1, a_2, \cdots, a_n)叫做行向量, 其中的a_i是向量的分量. α=(a1,a2,,an),ai.
α = ( a 1 a 2 ⋮ a n ) 叫 做 列 向 量 \alpha=\left( \begin{matrix} a_{1} \\ a_{2} \\ \vdots \\ a_{n} \end{matrix} \right)叫做列向量 α=a1a2an

A = [ a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋮ ⋮ ⋯ ⋮ a n 1 a n 2 ⋯ a n n ] , 取 矩 阵 中 的 一 行 , 这 一 行 就 叫 做 矩 阵 的 行 向 量 , 取 列 就 是 列 向 量 A=\left[ \begin{matrix} a_{11} \quad a_{12} \quad \cdots \quad a_{1n} \\ a_{21} \quad a_{22} \quad \cdots \quad a_{2n} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{n1} \quad a_{n2} \quad \cdots \quad a_{nn} \end{matrix} \right],取矩阵中的一行,这一行就叫做矩阵的行向量, 取列就是列向量 A=a11a12a1na21a22a2nan1an2ann,,,

如 果 一 个 向 量 所 有 的 分 量 都 是 0 , 那 么 这 个 向 量 就 是 0 向 量 如果一个向量所有的分量都是0, 那么这个向量就是0向量 0,0

给 向 量 的 每 一 个 分 量 都 加 上 一 个 负 号 , 我 们 把 这 个 向 量 叫 做 原 向 量 的 负 向 量 . 给向量的每一个分量都加上一个负号, 我们把这个向量叫做原向量的负向量. ,.

两 个 向 量 相 等 , 必 须 维 数 相 同 , 即 同 型 , 对 应 分 量 相 等 两个向量相等, 必须维数相同,即同型, 对应分量相等 ,,,

  1. 定义2: α = ( a 1 , a 2 , a 3 , ⋯   , a n ) , 数 值 a 1 2 + a 2 2 + ⋯ + a n 2 称 为 向 量 α 的 长 度 或 者 范 数 , 或 者 膜 , 记 为 ∣ ∣ α ∣ ∣ \alpha=(a_1, a_2, a_3, \cdots, a_n), 数值\sqrt{a_1^2 + a_2^2+\cdots + a_n^2}称为向量\alpha的长度或者范数,或者膜,记为||\alpha|| α=(a1,a2,a3,,an),a12+a22++an2 α,,α

    ∣ ∣ α ∣ ∣ = 1 , 称 α 为 单 位 向 量 ||\alpha||=1, 称\alpha为单位向量 α=1,α

n维向量的线性运算

设向量 α = ( a 1 , a 2 , ⋯   , a n ) , β = ( b 1 , b 2 , ⋯   , b n ) \alpha = (a_1, a_2, \cdots, a_n), \beta=(b_1, b_2, \cdots, b_n) α=(a1,a2,,an),β=(b1,b2,,bn)

  1. 加法: α + β = ( a 1 + b 1 , a 2 + b 2 , ⋯   , a n + b n ) \alpha + \beta = (a_1 + b1, a_2+b_2, \cdots, a_n + b_n) α+β=(a1+b1,a2+b2,,an+bn)
  2. 减法: α − β = ( a 1 − b 1 , a 2 − b 2 , ⋯   , a n − b n ) \alpha - \beta = (a_1 - b1, a_2-b_2, \cdots, a_n - b_n) αβ=(a1b1,a2b2,,anbn)
  3. 数乘: k α = ( k a 1 , k a 2 , ⋯   , k a n ) k\alpha = (ka_1, ka_2, \cdots, ka_n) kα=(ka1,ka2,,kan)
  4. 运算规律: α + β = β + α ( α + β ) + γ = α + ( β + γ ) α + 0 = 0 + α α − α = 0 \alpha + \beta=\beta + \alpha \\(\alpha + \beta) + \gamma = \alpha + (\beta + \gamma)\\ \alpha + 0 = 0 + \alpha\\ \alpha - \alpha = 0 α+β=β+α(α+β)+γ=α+(β+γ)α+0=0+ααα=0

线性组合

定义: 设向量 β , α 1 , α 2 , ⋯   , α m , 若 存 在 一 组 数 k 1 , k 2 , ⋯   , k m , 使 β = k 1 α 1 + k 2 α 2 + . . . + k m α m , 则 称 向 量 β 可 以 由 向 量 α 1 , α 2 , ⋯   , α m 表 示 , 或 称 β 是 向 量 α 1 , α 2 , ⋯   , α m 的 线 性 组 合 \beta, \alpha_1, \alpha_2, \cdots, \alpha_m,若存在一组数k_1,k_2,\cdots,k_m, 使\beta=k_1\alpha_1+k_2\alpha_2 + ...+ k_m\alpha_m, 则称向量\beta可以由向量\alpha_1, \alpha_2, \cdots, \alpha_m表示, \\或称\beta是向量\alpha_1, \alpha_2, \cdots, \alpha_m的线性组合 β,α1,α2,,αm,k1,k2,,km,使β=k1α1+k2α2+...+kmαm,βα1,α2,,αm,βα1,α2,,αm线

任何向量都可以由基向量通过线性组合得到.

基 向 量 : i = ( 1 , 0 ) , j = ( 0 , 1 ) 基向量: i = (1, 0), j=(0, 1) :i=(1,0),j=(0,1)

比如 α = ( 2 , 3 ) = 2 ∗ i + 3 ∗ j \alpha=(2, 3) = 2*i + 3*j α=(2,3)=2i+3j

α = ( 2 , 3 ) β = ( 1 , 4 ) , α β = 14 \alpha=(2, 3) \beta=(1, 4), \alpha \beta = 14 α=(2,3)β=(1,4),αβ=14

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值