机器学习的数学基础（中 ）

线性代数

行列式

1.行列式按行（列）展开定理

(1)
设$A={\left(a_{\text{ij}}\right)}_{n\times n}$，则：$a_{i1}A_{j1} + a_{i2}A_{j2} + \cdots + a_{\text{in}}A_{\text{jn}} = \left{ \begin{matrix}
& \left| A \right|,i = j \
& 0,i \neq j \
\end{matrix} \right.\ $

或$a_{1i}A_{1j} + a_{2i}A_{2j} + \cdots + a_{\text{ni}}A_{\text{nj}} = \left{ \begin{matrix}
& \left| A \right|,i = j \
& 0,i \neq j \
\end{matrix} \right.\ $

即
$A{A}^{\ast }=A^{\ast }A=\left|A\right|E,$其中：$A^{\ast }=\left(\begin{array}{cccc}{A}_{11}& A_{12}& \dots & A_{1n}\\ A_{21}& A_{22}& \dots & A_{2n}\\ \dots & \dots & \dots & \dots \\ A_{n1}& A_{n2}& \dots & A_{\text{nn}}\end{array}\right)=(A_{\text{ji}})={(A_{\text{ij}})}^T$

$D_n=\left|\begin{array}{cccc}1& 1& \dots & 1\\ x_1& x_2& \dots & x_n\\ \dots & \dots & \dots & \dots \\ x_1^{n-1}& x_2^{n-1}& \dots & x_n^{n-1}\end{array}\right|=={\prod }_{1\le j<i\le n}^{}(x_i-x_j)$

(2)
设$A,B$为$n$阶方阵，则$\left|\text{AB}\right|=\left|A\right|\left|B\right|=\left|B\right|\left|A\right|=\left|\text{BA}\right|$，但$\left|A\pm B\right|=\left|A\right|\pm \left|B\right|$不一定成立。

(3) $\left|\text{kA}\right|=k^n\left|A\right|$,$A$为$n$阶方阵。

(4)
设$A$为$n$阶方阵，$|A^T|=|A|;|A^{-1}|=|A{|}^{-1}$（若$A$可逆），$|A^{\ast }|=|A{|}^{n-1}$

$n\ge 2$

(5) $\left| \begin{matrix}
& \text{A\quad O} \
& \text{O\quad B} \
\end{matrix} \right| = \left| \begin{matrix}
& \text{A\quad C} \
& \text{O\quad B} \
\end{matrix} \right| = \left| \begin{matrix}
& \text{A\quad O} \
& \text{C\quad B} \
\end{matrix} \right| = \left| A||B| \right.\ $
，$A,B$为方阵，但$\left|\begin{array}{cc}& \text{O}{A}_{m\times m}\\ & B_{n\times n}\text{O}\end{array}\right|=({-1)}^{\text{mn}}|A||B|$ 。

(6) 范德蒙行列式$D_n=\left|\begin{array}{cccc}1& 1& \dots & 1\\ x_1& x_2& \dots & x_n\\ \dots & \dots & \dots & \dots \\ x_1^{n-1}& x_2^{n-1}& \dots & x_n^{n-1}\end{array}\right|=={\prod }_{1\le j<i\le n}^{}(x_i-x_j)$

设$A$是$n$阶方阵，${\lambda }_i(i=1,2\cdots ,n)$是$A$的$n$个特征值，则
$|A|={\prod }_{i=1}^n{\lambda }_i$

矩阵

矩阵：$m\times n$个数$a_{\text{ij}}$排成$m$行$n$列的表格$\left[\begin{array}{cc}& a_{11}{a}_{12}\cdots a_{1n}\\ & a_{21}{a}_{22}\cdots a_{2n}\\ & \cdots \cdots \cdots \cdots \cdots \\ & a_{m1}{a}_{m2}\cdots a_{\text{mn}}\end{array}\right]$称为矩阵，简记为$A$，或者${\left(a_{\text{ij}}\right)}_{m\times n}$
。若$m=n$，则称$A$是$n$阶矩阵或$n$阶方阵。

**矩阵的线性运算 **

**1.矩阵的加法 **

设$A=(a_{\text{ij}}),B=(b_{\text{ij}})$是两个$m\times n$矩阵，则$m\times n$
矩阵$C=(c_{\text{ij}})=a_{\text{ij}}+b_{\text{ij}}$称为矩阵$A$与$B$的和，记为$A+B=C$
。

**2.矩阵的数乘 **

设$A=(a_{\text{ij}})$是$m\times n$矩阵，$k$是一个常数，则$m\times n$矩阵$(k{a}_{\text{ij}})$称为数$k$与矩阵$A$的数乘，记为$\text{kA}$。

**3.矩阵的乘法 **

设$A=(a_{\text{ij}})$是$m\times n$矩阵，$B=(b_{\text{ij}})$是$n\times s$矩阵，那么$m\times s$矩阵$C=(c_{\text{ij}})$，其中
$c_{\text{ij}}=a_{i1}{b}_{1j}+a_{i2}{b}_{2j}+\cdots +a_{\text{in}}{b}_{\text{nj}}={\sum }_{k=1}^n{a}_{\text{ik}}{b}_{\text{kj}}$称为$\text{AB}$的乘积，记为$C=AB$
。

4.
${\mathbf{A}}^{\mathbf{T}}$、${\mathbf{A}}^{-1}$、${\mathbf{A}}^{\ast }$**三者之间的关系
**

(1)
${(A^T)}^T=A,{(AB)}^T=B^T{A}^T,{(kA)}^T=k{A}^T,{(A\pm B)}^T=A^T\pm B^T$

(2)
${\left(A^{-1}\right)}^{-1}=A,{\left(\text{AB}\right)}^{-1}=B^{-1}{A}^{-1},{\left(\text{kA}\right)}^{-1}=\frac{1}{k}{A}^{-1},$

但 ${(A\pm B)}^{-1}=A^{-1}\pm B^{-1}$不一定成立。

(3)
${\left(A^{\ast }\right)}^{\ast }=|A{|}^{n-2}A(n\ge 3)$，${\left(\text{AB}\right)}^{\ast }=B^{\ast }{A}^{\ast },$
${\left(\text{kA}\right)}^{\ast }=k^{n-1}{A}^{\ast }\left(n\ge 2\right)$

但${\left(A\pm B\right)}^{\ast }=A^{\ast }\pm B^{\ast }$不一定成立。

(4)
${(A^{-1})}^T={(A^T)}^{-1},{\left(A^{-1}\right)}^{\ast }={(A{A}^{\ast })}^{-1},{(A^{\ast })}^T={\left(A^T\right)}^{\ast }$

5.有关${\mathbf{A}}^{\ast }$**的结论 **

(1) $A{A}^{\ast }=A^{\ast }A=|A|E$

(2)
$|A^{\ast }|=|A{|}^{n-1}(n\ge 2),{(kA)}^{\ast }=k^{n-1}{A}^{\ast },{\left(A^{\ast }\right)}^{\ast }=|A{|}^{n-2}A(n\ge 3)$

(3)
若$A$可逆，则$A^{\ast }=|A|A^{-1},{(A^{\ast })}^{\ast }=\frac{1}{|A|}A$

(4) 若$A$为$n$阶方阵，则：

$r(A^{\ast}) = \left{ \begin{matrix}
& n,\quad r(A) = n \
& 1,\quad r(A) = n - 1 \
& 0,\quad r(A) < n - 1 \
\end{matrix} \right.\ $

6.有关${\mathbf{A}}^{-1}$的结论

$A$可逆$\iff AB=E;\iff |A|\ne 0;\iff r(A)=n;$

$\iff A$可以表示为初等矩阵的乘积；$\Leftrightarrow A; \Leftrightarrow Ax = 0\ $。

7.有关矩阵秩的结论

(1) 秩$r(A)$=行秩=列秩；

(2) $r(A_{m\times n})\le \min (m,n);$

(3) $A\ne 0\Rightarrow r(A)\ge 1$；

(4) $r(A\pm B)\le r(A)+r(B);$

(5) 初等变换不改变矩阵的秩

(6) $r(A)+r(B)-n\le r(AB)\le \min (r(A),r(B)),$特别若$AB=O$

则：$r(A)+r(B)\le n$

(7) 若$A^{-1}$存在$\Rightarrow r(AB)=r(B);$ 若$B^{-1}$存在
$\Rightarrow r(AB)=r(A);$

若$r(A_{m\times n})=n\Rightarrow r(AB)=r(B);$
若$r(A_{m\times s})=n\Rightarrow r(AB)=r\left(A\right)$。

(8) $r(A_{m\times s})=n\iff Ax=0$只有零解

8.分块求逆公式

${\left(\begin{array}{cc}A& O\\ O& B\end{array}\right)}^{-1}=\left(\begin{array}{cc}{A}^{-1}& O\\ O& B^{-1}\end{array}\right)$； ${\left(\begin{array}{cc}A& C\\ O& B\end{array}\right)}^{-1}=\left(\begin{array}{cc}& A^{-1}-A^{-1}C{B}^{-1}\\ & \text{O}{B}^{-1}\end{array}\right)$；

${\left(\begin{array}{cc}A& O\\ C& B\end{array}\right)}^{-1}=\left(\begin{array}{cc}& A^{-1}\text{O}\\ & -B^{-1}C{A}^{-1}{B}^{-1}\end{array}\right)$； ${\left(\begin{array}{cc}O& A\\ B& O\end{array}\right)}^{-1}=\left(\begin{array}{cc}O& B^{-1}\\ A^{-1}& O\end{array}\right)$

这里$A$，$B$均为可逆方阵。

向量

**1.有关向量组的线性表示 **

(1)
${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$线性相关$\iff$至少有一个向量可以用其余向量线性表示。

(2)
${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$线性无关，${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$，$\beta$线性相关$\iff \beta$可以由${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$唯一线性表示。

(3) $\beta$可以由${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$线性表示
$\iff r({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s)=r({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s,\beta )$
。

**2.有关向量组的线性相关性 **

(1)部分相关，整体相关；整体无关，部分无关.

(2) ① $n$个$n$维向量
${\alpha }_1,{\alpha }_2\cdots {\alpha }_n$线性无关$\iff \left|\left[{\alpha }_1{\alpha }_2\cdots {\alpha }_n\right]\right|\ne 0$，
$n$个$n$维向量${\alpha }_1,{\alpha }_2\cdots {\alpha }_n$线性相关
$\iff |[{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n]|=0$
。

② $n+1$个$n$维向量线性相关。

③
若${\alpha }_1,{\alpha }_2\cdots {\alpha }_S$线性无关，则添加分量后仍线性无关；或一组向量线性相关，去掉某些分量后仍线性相关。

3.有关向量组的线性表示

(1)
${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$线性相关$\iff$至少有一个向量可以用其余向量线性表示。

(2)
${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$线性无关，${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$，$\beta$线性相关$\iff \beta$
可以由${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$唯一线性表示。

(3) $\beta$可以由${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$线性表示
$\iff r({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s)=r({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s,\beta )$

4.向量组的秩与矩阵的秩之间的关系

设$r(A_{m\times n})=r$，则$A$的秩$r(A)$与$A$的行列向量组的线性相关性关系为：

(1) 若$r(A_{m\times n})=r=m$，则$A$的行向量组线性无关。

(2) 若$r(A_{m\times n})=r<m$，则$A$的行向量组线性相关。

(3) 若$r(A_{m\times n})=r=n$，则$A$的列向量组线性无关。

(4) 若$r(A_{m\times n})=r<n$，则$A$的列向量组线性相关。

5.$\mathbf{n}$**维向量空间的基变换公式及过渡矩阵 **

若${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$与${\beta }_1,{\beta }_2,\cdots ,{\beta }_n$是向量空间$V$的两组基，则基变换公式为：

$$({\beta }_1,{\beta }_2,\cdots ,{\beta }_n)=({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n)\left[\begin{array}{cc}& c_{11}{c}_{12}\cdots c_{1n}\\ & c_{21}{c}_{22}\cdots c_{2n}\\ & \cdots \cdots \cdots \cdots \cdots \\ & c_{n1}{c}_{n2}\cdots c_{\text{nn}}\end{array}\right]=({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n)C$$

其中$C$是可逆矩阵，称为由基${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$到基${\beta }_1,{\beta }_2,\cdots ,{\beta }_n$的过渡矩阵。

**6.坐标变换公式 **

若向量$\gamma$在基${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$与基${\beta }_1,{\beta }_2,\cdots ,{\beta }_n$的坐标分别是
$X={(x_1,x_2,\cdots ,x_n)}^T$，

$Y={\left(y_1,y_2,\cdots ,y_n\right)}^T$ 即：
$\gamma =x_1{\alpha }_1+x_2{\alpha }_2+\cdots +x_n{\alpha }_n=y_1{\beta }_1+y_2{\beta }_2+\cdots +y_n{\beta }_n$，则向量坐标变换公式为$X=CY$
或 $Y=C^{-1}X$
，其中$C$是从基${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$到基${\beta }_1,{\beta }_2,\cdots ,{\beta }_n$的过渡矩阵。

7.向量的内积

$$(\alpha ,\beta )=a_1{b}_1+a_2{b}_2+\cdots +a_n{b}_n={\alpha }^T\beta ={\beta }^T\alpha$$

8.Schmidt正交化

若${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$线性无关，则可构造${\beta }_1,{\beta }_2,\cdots ,{\beta }_s$使其两两正交，且${\beta }_i$仅是${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_i$的线性组合$(i=1,2,\cdots ,n)$，再把${\beta }_i$单位化，记${\gamma }_i=\frac{{\beta }_i}{|{\beta }_i|}$，则${\gamma }_1,{\gamma }_2,\cdots ,{\gamma }_i$是规范正交向量组。其中
${\beta }_1={\alpha }_1$，
${\beta }_2={\alpha }_2-\frac{({\alpha }_2,{\beta }_1)}{({\beta }_1,{\beta }_1)}{\beta }_1$
，
${\beta }_3={\alpha }_3-\frac{({\alpha }_3,{\beta }_1)}{({\beta }_1,{\beta }_1)}{\beta }_1-\frac{({\alpha }_3,{\beta }_2)}{({\beta }_2,{\beta }_2)}{\beta }_2$
，

…

$${\beta }_s={\alpha }_s-\frac{({\alpha }_s,{\beta }_1)}{({\beta }_1,{\beta }_1)}{\beta }_1-\frac{({\alpha }_s,{\beta }_2)}{({\beta }_2,{\beta }_2)}{\beta }_2-\cdots -\frac{({\alpha }_s,{\beta }_{s-1})}{({\beta }_{s-1},{\beta }_{s-1})}{\beta }_{s-1}$$

**9.正交基及规范正交基 **

向量空间一组基中的向量如果两两正交，就称为正交基；若正交基中每个向量都是单位向量，就称其为规范正交基。

线性方程组

1．克莱姆法则

线性方程组$\left{ \begin{matrix}
& a_{11}x_{1} + a_{12}x_{2} + \cdots + a_{1n}x_{n} = b_{1} \
& a_{21}x_{1} + a_{22}x_{2} + \cdots + a_{2n}x_{n} = b_{2} \
& \quad\cdots\cdots\cdots\cdots\cdots\cdots\cdots\cdots\cdots \
& a_{n1}x_{1} + a_{n2}x_{2} + \cdots + a_{\text{nn}}x_{n} = b_{n} \
\end{matrix} \right.\ $，如果系数行列式$D = \left| A \right| \neq 0$，则方程组有唯一解，
$x_1=\frac{D_1}{D},x_2=\frac{D_2}{D},\cdots ,x_n=\frac{D_n}{D}$，其中$D_j$是把$D$中第$j$列元素换成方程组右端的常数列所得的行列式。

2.
$n$阶矩阵$A$可逆$\iff Ax=0$只有零解。$\iff \forall b,Ax=b$总有唯一解，一般地，$r(A_{m\times n})=n\iff Ax=0$只有零解。

3.非奇次线性方程组有解的充分必要条件，线性方程组解的性质和解的结构

(1)
设$A$为$m\times n$矩阵，若$r(A_{m\times n})=m$，则对$Ax=b$而言必有$r(A)=r(A⋮b)=m$，从而$Ax=b$有解。

(2)
设$x_1,x_2,\cdots x_s$为$Ax=b$的解，则$k_1{x}_1+k_2{x}_2+\cdots +k_s{x}_s$当$k_1+k_2+\cdots +k_s=1$时仍为$Ax=b$的解；但当$k_1+k_2+\cdots +k_s=0$时，则为$Ax=0$的解。特别$\frac{x_1+x_2}{2}$为$Ax=b$的解；$2x_3-(x_1+x_2)$为$Ax=0$的解。

(3)
非齐次线性方程组$\text{Ax}=b$无解$\iff r(A)+1=r(\overline{A})\iff b$不能由$A$的列向量${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$线性表示。

**4.奇次线性方程组的基础解系和通解，解空间，非奇次线性方程组的通解 **

(1)
齐次方程组$\text{Ax}=0$恒有解(必有零解)。当有非零解时，由于解向量的任意线性组合仍是该齐次方程组的解向量，因此$\text{Ax}=0$的全体解向量构成一个向量空间，称为该方程组的解空间，解空间的维数是$n-r(A)$，解空间的一组基称为齐次方程组的基础解系。

(2) ${\eta }_1,{\eta }_2,\cdots ,{\eta }_t$是$\text{Ax}=0$的基础解系，即：

1) ${\eta }_1,{\eta }_2,\cdots ,{\eta }_t$是$\text{Ax}=0$的解；

2) ${\eta }_1,{\eta }_2,\cdots ,{\eta }_t$线性无关；

$\text{Ax}=0$的任一解都可以由${\eta }_1,{\eta }_2,\cdots ,{\eta }_t$线性表出.
$k_1{\eta }_1+k_2{\eta }_2+\cdots +k_t{\eta }_t$是$\text{Ax}=0$的通解，其中$k_1,k_2,\cdots ,k_t$是任意常数。