深度学习需要掌握的数学知识②【线性代数-part1】

行列式

1.行列式按行（列）展开定理

(1) 设$A=(a_{ij}{)}_{n\times n}$，则：$a_{i1}{A}_{j1}+a_{i2}{A}_{j2}+\cdots +a_{in}{A}_{jn}=\{\begin{array}{l}|A|,i=j\\ 0,i\ne j\end{array}$

或$a_{1i}{A}_{1j}+a_{2i}{A}_{2j}+\cdots +a_{ni}{A}_{nj}=\{\begin{array}{l}|A|,i=j\\ 0,i\ne j\end{array}$即 $A{A}^{\ast }=A^{\ast }A=\left|A\right|E,$其中：$A^{\ast }=\left(\begin{array}{cccc}{A}_{11}& A_{12}& \dots & A_{1n}\\ A_{21}& A_{22}& \dots & A_{2n}\\ \dots & \dots & \dots & \dots \\ A_{n1}& A_{n2}& \dots & A_{nn}\end{array}\right)=(A_{ji})={(A_{ij})}^T$

$D_n=\left|\begin{array}{cccc}1& 1& \dots & 1\\ x_1& x_2& \dots & x_n\\ \dots & \dots & \dots & \dots \\ x_1^{n-1}& x_2^{n-1}& \dots & x_n^{n-1}\end{array}\right|={\prod }_{1\le j<i\le n}^{}(x_i-x_j)$

(2) 设$A,B$为$n$阶方阵，则$\left|AB\right|=\left|A\right|\left|B\right|=\left|B\right|\left|A\right|=\left|BA\right|$，但$\left|A\pm B\right|=\left|A\right|\pm \left|B\right|$不一定成立。

(3) $\left|kA\right|=k^n\left|A\right|$,$A$为$n$阶方阵。

(4) 设$A$为$n$阶方阵，$|A^T|=|A|;|A^{-1}|=|A{|}^{-1}$（若$A$可逆），$|A^{\ast }|=|A{|}^{n-1}$

$n\ge 2$

(5) $\left|\begin{array}{cc}& AO\\ & OB\end{array}\right|=\left|\begin{array}{cc}& AC\\ & OB\end{array}\right|=\left|\begin{array}{cc}& AO\\ & CB\end{array}\right|=|A||B|$
，$A,B$为方阵，但$\left|\begin{array}{cc}O& A_{m\times m}\\ B_{n\times n}& O\end{array}\right|=({-1)}^{mn}|A||B|$ 。

(6) 范德蒙行列式$D_n=\left|\begin{array}{cccc}1& 1& \dots & 1\\ x_1& x_2& \dots & x_n\\ \dots & \dots & \dots & \dots \\ x_1^{n-1}& x_2^{n1}& \dots & x_n^{n-1}\end{array}\right|={\prod }_{1\le j<i\le n}^{}(x_i-x_j)$

设$A$是$n$阶方阵，${\lambda }_i(i=1,2\cdots ,n)$是$A$的$n$个特征值，则
$|A|={\prod }_{i=1}^n{\lambda }_i$

矩阵

矩阵：$m\times n$个数$a_{ij}$排成$m$行$n$列的表格$\left[\begin{array}{c}{a}_{11}{a}_{12}\cdots a_{1n}\\ a_{21}{a}_{22}\cdots a_{2n}\\ \cdots \cdots \cdots \cdots \cdots \\ a_{m1}{a}_{m2}\cdots a_{mn}\end{array}\right]$ 称为矩阵，简记为$A$，或者${\left(a_{ij}\right)}_{m\times n}$ 。若$m=n$，则称$A$是$n$阶矩阵或$n$阶方阵。

矩阵的线性运算

1.矩阵的加法

设$A=(a_{ij}),B=(b_{ij})$是两个$m\times n$矩阵，则$m\times n$ 矩阵$C=c_{ij})=a_{ij}+b_{ij}$称为矩阵$A$与$B$的和，记为$A+B=C$ 。

2.矩阵的数乘

设$A=(a_{ij})$是$m\times n$矩阵，$k$是一个常数，则$m\times n$矩阵$(k{a}_{ij})$称为数$k$与矩阵$A$的数乘，记为$kA$。

3.矩阵的乘法

设$A=(a_{ij})$是$m\times n$矩阵，$B=(b_{ij})$是$n\times s$矩阵，那么$m\times s$矩阵$C=(c_{ij})$，其中$c_{ij}=a_{i1}{b}_{1j}+a_{i2}{b}_{2j}+\cdots +a_{in}{b}_{nj}={\sum }_{k=1}^n{a}_{ik}{b}_{kj}$称为$AB$的乘积，记为$C=AB$ 。

4. ${\mathbf{A}}^{\mathbf{T}}$、${\mathbf{A}}^{-1}$、${\mathbf{A}}^{\ast }$三者之间的关系

(1) ${(A^T)}^T=A,{(AB)}^T=B^T{A}^T,{(kA)}^T=k{A}^T,{(A\pm B)}^T=A^T\pm B^T$

(2) ${\left(A^{-1}\right)}^{-1}=A,{\left(AB\right)}^{-1}=B^{-1}{A}^{-1},{\left(kA\right)}^{-1}=\frac{1}{k}{A}^{-1},$

但 ${(A\pm B)}^{-1}=A^{-1}\pm B^{-1}$不一定成立。

(3) ${\left(A^{\ast }\right)}^{\ast }=|A{|}^{n-2}A(n\ge 3)$，${\left(AB\right)}^{\ast }=B^{\ast }{A}^{\ast },$ ${\left(kA\right)}^{\ast }=k^{n-1}{A}^{\ast }\left(n\ge 2\right)$

但${\left(A\pm B\right)}^{\ast }=A^{\ast }\pm B^{\ast }$不一定成立。

(4) ${(A^{-1})}^T={(A^T)}^{-1},{\left(A^{-1}\right)}^{\ast }={(A{A}^{\ast })}^{-1},{(A^{\ast })}^T={\left(A^T\right)}^{\ast }$

5.有关${\mathbf{A}}^{\ast }$的结论

(1) $A{A}^{\ast }=A^{\ast }A=|A|E$

(2) $|A^{\ast }|=|A{|}^{n-1}(n\ge 2),{(kA)}^{\ast }=k^{n-1}{A}^{\ast },{\left(A^{\ast }\right)}^{\ast }=|A{|}^{n-2}A(n\ge 3)$

(3) 若$A$可逆，则$A^{\ast }=|A|A^{-1},{(A^{\ast })}^{\ast }=\frac{1}{|A|}A$

(4) 若$A$为$n$阶方阵，则：

$r(A^{\ast })=\{\begin{array}{l}n,r(A)=n\\ 1,r(A)=n-1\\ 0,r(A)<n-1\end{array}$

6.有关${\mathbf{A}}^{-1}$的结论

$A$可逆$\iff AB=E;\iff |A|\ne 0;\iff r(A)=n;$

$\iff A$可以表示为初等矩阵的乘积；$\iff Ax=0$只有零解。

7.有关矩阵秩的结论

(1) 秩$r(A)$=行秩=列秩；

(2) $r(A_{m\times n})\le \min (m,n);$

(3) $A\ne 0\Rightarrow r(A)\ge 1$；

(4) $r(A\pm B)\le r(A)+r(B);$

(5) 初等变换不改变矩阵的秩

(6) $r(A)+r(B)-n\le r(AB)\le \min (r(A),r(B)),$特别若$AB=O$
则：$r(A)+r(B)\le n$

(7) 若$A^{-1}$存在$\Rightarrow r(AB)=r(B);$ 若$B^{-1}$存在
$\Rightarrow r(AB)=r(A);$

若$r(A_{m\times n})=n\Rightarrow r(AB)=r(B);$ 若$r(A_{m\times s})=n\Rightarrow r(AB)=r\left(A\right)$。

(8) $r(A_{m\times s})=n\iff Ax=0$只有零解

8.分块求逆公式

${\left(\begin{array}{cc}A& O\\ O& B\end{array}\right)}^{-1}=\left(\begin{array}{cc}{A}^{-1}& O\\ O& B^{-1}\end{array}\right)$； ${\left(\begin{array}{cc}A& C\\ O& B\end{array}\right)}^{-1}=\left(\begin{array}{cc}{A}^{-1}& -A^{-1}C{B}^{-1}\\ O& B^{-1}\end{array}\right)$；

${\left(\begin{array}{cc}A& O\\ C& B\end{array}\right)}^{-1}=\left(\begin{array}{cc}{A}^{-1}& O\\ -B^{-1}C{A}^{-1}& B^{-1}\end{array}\right)$； ${\left(\begin{array}{cc}O& A\\ B& O\end{array}\right)}^{-1}=\left(\begin{array}{cc}O& B^{-1}\\ A^{-1}& O\end{array}\right)$

这里$A$，$B$均为可逆方阵。

向量

1.有关向量组的线性表示

(1)${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$线性相关$\iff$至少有一个向量可以用其余向量线性表示。

(2)${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$线性无关，${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$，$\beta$线性相关$\iff \beta$可以由${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$唯一线性表示。

(3) $\beta$可以由${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$线性表示
$\iff r({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s)=r({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s,\beta )$ 。

2.有关向量组的线性相关性

(1)部分相关，整体相关；整体无关，部分无关.

(2) ① $n$个$n$维向量
${\alpha }_1,{\alpha }_2\cdots {\alpha }_n$线性无关$\iff \left|\left[{\alpha }_1{\alpha }_2\cdots {\alpha }_n\right]\right|\ne 0$， $n$个$n$维向量${\alpha }_1,{\alpha }_2\cdots {\alpha }_n$线性相关
$\iff |[{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n]|=0$
。

② $n+1$个$n$维向量线性相关。

③ 若${\alpha }_1,{\alpha }_2\cdots {\alpha }_S$线性无关，则添加分量后仍线性无关；或一组向量线性相关，去掉某些分量后仍线性相关。

3.有关向量组的线性表示

(1) ${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$线性相关$\iff$至少有一个向量可以用其余向量线性表示。

(2) ${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$线性无关，${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$，$\beta$线性相关$\iff \beta$ 可以由${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$唯一线性表示。

(3) $\beta$可以由${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$线性表示
$\iff r({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s)=r({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s,\beta )$

4.向量组的秩与矩阵的秩之间的关系

设$r(A_{m\times n})=r$，则$A$的秩$r(A)$与$A$的行列向量组的线性相关性关系为：

(1) 若$r(A_{m\times n})=r=m$，则$A$的行向量组线性无关。

(2) 若$r(A_{m\times n})=r<m$，则$A$的行向量组线性相关。

(3) 若$r(A_{m\times n})=r=n$，则$A$的列向量组线性无关。

(4) 若$r(A_{m\times n})=r<n$，则$A$的列向量组线性相关。

5.$\mathbf{n}$维向量空间的基变换公式及过渡矩阵

若${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$与${\beta }_1,{\beta }_2,\cdots ,{\beta }_n$是向量空间$V$的两组基，则基变换公式为：

$({\beta }_1,{\beta }_2,\cdots ,{\beta }_n)=({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n)\left[\begin{array}{cccc}{c}_{11}& c_{12}& \cdots & c_{1n}\\ c_{21}& c_{22}& \cdots & c_{2n}\\ \cdots & \cdots & \cdots & \cdots \\ c_{n1}& c_{n2}& \cdots & c_{nn}\end{array}\right]=({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n)C$

其中$C$是可逆矩阵，称为由基${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$到基${\beta }_1,{\beta }_2,\cdots ,{\beta }_n$的过渡矩阵。

6.坐标变换公式

若向量$\gamma$在基${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$与基${\beta }_1,{\beta }_2,\cdots ,{\beta }_n$的坐标分别是
$X={(x_1,x_2,\cdots ,x_n)}^T$，

$Y={\left(y_1,y_2,\cdots ,y_n\right)}^T$ 即： $\gamma =x_1{\alpha }_1+x_2{\alpha }_2+\cdots +x_n{\alpha }_n=y_1{\beta }_1+y_2{\beta }_2+\cdots +y_n{\beta }_n$，则向量坐标变换公式为$X=CY$ 或$Y=C^{-1}X$，其中$C$是从基${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$到基${\beta }_1,{\beta }_2,\cdots ,{\beta }_n$的过渡矩阵。

7.向量的内积

$(\alpha ,\beta )=a_1{b}_1+a_2{b}_2+\cdots +a_n{b}_n={\alpha }^T\beta ={\beta }^T\alpha$

8.Schmidt正交化

若${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$线性无关，则可构造${\beta }_1,{\beta }_2,\cdots ,{\beta }_s$使其两两正交，且${\beta }_i$仅是${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_i$的线性组合$(i=1,2,\cdots ,n)$，再把${\beta }_i$单位化，记${\gamma }_i=\frac{{\beta }_i}{|{\beta }_i|}$，则${\gamma }_1,{\gamma }_2,\cdots ,{\gamma }_i$是规范正交向量组。其中
${\beta }_1={\alpha }_1$， ${\beta }_2={\alpha }_2-\frac{({\alpha }_2,{\beta }_1)}{({\beta }_1,{\beta }_1)}{\beta }_1$ ， ${\beta }_3={\alpha }_3-\frac{({\alpha }_3,{\beta }_1)}{({\beta }_1,{\beta }_1)}{\beta }_1-\frac{({\alpha }_3,{\beta }_2)}{({\beta }_2,{\beta }_2)}{\beta }_2$ ，

…

${\beta }_s={\alpha }_s-\frac{({\alpha }_s,{\beta }_1)}{({\beta }_1,{\beta }_1)}{\beta }_1-\frac{({\alpha }_s,{\beta }_2)}{({\beta }_2,{\beta }_2)}{\beta }_2-\cdots -\frac{({\alpha }_s,{\beta }_{s-1})}{({\beta }_{s-1},{\beta }_{s-1})}{\beta }_{s-1}$

9.正交基及规范正交基

向量空间一组基中的向量如果两两正交，就称为正交基；若正交基中每个向量都是单位向量，就称其为规范正交基。