【NLP/机器学习】数学基础复习（线代/高数/概率论）

无名草鸟

已于 2022-03-01 12:28:39 修改

阅读量763

点赞数

分类专栏： ai 文章标签：概率论自然语言处理线性代数

于 2022-02-26 02:10:14 首次发布

本文链接：https://blog.csdn.net/qq_41020633/article/details/122994471

版权

ai 专栏收录该内容

20 篇文章 11 订阅

订阅专栏

未完成，仍在更新。

线性代数¹

1 行列式

1.1 行列式定义

$\begin{aligned} D_n= \begin{vmatrix} a_{11} & a_{12} & ... & a_{1n} \\ a_{21} & a_{22} & ... & a_{2n} \\ ... & ... & ... & ... \\ a_{n1} & a_{n2} & ... & a_{nn} \\ \end{vmatrix} &=\Sigma(-1)^{t(p_1p_2...p_n)} a_{1p_1}a_{2p_2}...a_{np_n} \\ &=\Sigma(-1)^{t(p_1p_2...p_n)} a_{p_11}a_{p_22}...a_{p_nn} \end{aligned}$
行列式定义计算：不同行不同列选取元素做乘积再做和。式子1按照列标排序，即每一行选取不同列数的元素做乘积再做和（见下方公式）。按照行标准排序，则保持列不变，变动行。
（个数的话就是排列组合，以免算错。比如有三列，那摆在第一个的可以是三列中任意一列，第二个只有两列中任意一列，所以是3 X 2 X 1 = 6）
$\begin{aligned} D_n= \begin{vmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \\ \end{vmatrix} &=(-1)^{t(1 2 3)} a_{11}a_{22}a_{33} + (-1)^{t(132)} a_{11}a_{23}a_{32} + (-1)^{t(213)} a_{12}a_{21}a_{33} \\&+ (-1)^{t(231)} a_{12}a_{23}a_{31} + (-1)^{t(312)} a_{13}a_{21}a_{32} + (-1)^{t(321)} a_{13}a_{22}a_{31} \end{aligned}$
其中， $t(p_1p_2...p_n)$ 为逆序数，当前数字后面有多少比当前数字小的数字之和。以 $t (213)$ 为例，在2后面比2小的只有一个1，在1后面比1小的没有，在3后面比3小的没有，所以 $t (213) = 1 + 0 + 0$ 。

例1：
$\begin{aligned} f(x)= \begin{vmatrix} x & 1 & 1 & 2 \\ 1 & x & 1 & -1 \\ 3 & 2 & x & 1 \\ 1 & 1 & 2x & 1 \\ \end{vmatrix} ，求x^3的系数 \end{aligned}$
答：先找到各行各列可以相乘出现x³的元素，以 $a_{11}$ 表示位置，则 $a_{11}a_{22}a_{33}a_{44}$ 相乘或者 $a_{11}a_{22}a_{34}a_{43}$ 相乘可以得到x³。根据行列式定义可得：
$(-1)^{t(1234)}x\cdot x\cdot x\cdot1+(-1)^{t(1243)}x\cdot x\cdot1\cdot2x = x^3 -2x^3 = -x^3$ ，所以系数为1。

1.2 行列式性质

1.2.1 性质

1. $D = D^T$ ，行列式D的值等于其转置的值。其中，转置即将原行列式的第一行变成现行列式的第一列，并以此类推。
2. 行列式交换两行（列）后，值更改正负号。
3. 某一行的公因子可提到行列式外面。
4. 两行元素成比例，则行列式值为0
5. 行列式可将某一行拆开，变成两个行列式相加。其余行保持不变。
$\begin{vmatrix} ... & ... & ...\\ a_{i1}+b_{i1} & ...& a_{in}+b_{in}\\ ... & ... & ...\\ \end{vmatrix} = \begin{vmatrix} ... & ... & ...\\ a_{i1} & ...& a_{in}\\ ... & ... & ...\\ \end{vmatrix} + \begin{vmatrix} ... & ... & ...\\ b_{i1} & ...& b_{in}\\ ... & ... & ...\\ \end{vmatrix}$
6. $\xlongequal{r_i +kr_j} D$ ，某一行加上k倍的其他行（k可以是1，可以是负数，其他行也可以是自己）后行列式值不变。
7. $a_{i1}A_{j1} +...+a_{in}A_{jn} = \left\{ \begin{array}{lr} D & i=j \\ 0 & i\neq j \end{array} \right.$ ，其中， $A_{in}$ 为 $a_{in}$ 的代数余子式， $A_{in} = (-1)^{i+n} M_{in}$ 组成， $M_{in}$ 为去掉 $a_{in}$ 所在行和所在列的行列式，也叫余子式。

1.2.2 特殊行列式的值

1.对角行列式（右上、左下、从左上至右下）
$\begin{aligned} \begin{vmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ &a_{22} & \cdots &a_{2n} \\ & & \ddots & \vdots \\ & & &a_{nn} \end{vmatrix} = \begin{vmatrix} a_{11} & & & \\ a_{21} &a_{22} && \\ \vdots & & \ddots & \\ a_{n1} & \cdots & \cdots &a_{nn} \end{vmatrix} = \begin{vmatrix} a_{11} & & & \\ & a_{22} && \\ & & \ddots & \\ && &a_{nn} \end{vmatrix} = a_{11}a_{22}\cdots a_{nn} \end{aligned}$
2.次对角行列式（左上、右下、自右上至左下）: $=(-1)^{\frac{n(n-1)}{2}}a_{1,n}a_{2,n-1}\cdots a_{n,1}$
3.准上/下三角，其中 $A_m, B_n$ 均为方阵:
$\left | \begin{array}{c|c} A_m & 0 \\ \hline C_{n\times m} & B_{n} \end{array} \right| = \left | \begin{array}{c|c} A_m & C_{n\times m} \\ \hline 0 & B_{n} \end{array} \right| = |A_m| \cdot |B_n|$
4.范德蒙德行列式
$\begin{aligned} \begin{vmatrix} 1 & 1 & \cdots & 1 \\ x_1 &x_2 & \cdots & x_n \\ \vdots & & & \vdots \\ x_1^{n-1} & x_2^{n-1} & \cdots &x_n^{n-1} \end{vmatrix} = \begin{vmatrix} 1 & x_1 & \cdots & x_1^{n-1} \\ 1 &x_2 & \cdots & x_2^{n-1} \\ \vdots & & & \vdots \\ 1 & x_n& \cdots &x_n^{n-1} \end{vmatrix} &= \prod_{n\ge i\ge j \ge 1}(x_i-x_j)\\ &=(x_2-x_1)(x_3-x_1)\cdots(x_n-x_1)\\ & \cdot (x_3-x_2)(x_4-x_2)\cdots(x_n-x_2)\\ & \vdots\\ & \cdot (x_n-x_{n-1}) \end{aligned}$

例2：
$\begin{aligned} D_n= \begin{vmatrix} a_1-b & a_1 & \cdots & a_1 \\ a_2 & a_2-b & \cdots & a_2 \\ a_3 & a_3 & & a_3 \\ \vdots & \vdots & \vdots & \vdots \\ a_n & a_n & \cdots & a_n-b \end{vmatrix} ，求D_n的值 \end{aligned}$
答：观察行列式可以发现行之和或者列之和，所以先将所有加到第一行也保持行列式值不变（根据上方性质6）。
$D_n \xlongequal{r_1+r_2+\cdots+r_n} \begin{vmatrix} \sum _{i=1}^{n}a_i-b & \sum _{i=1}^{n}a_i-b & \cdots & \sum _{i=1}^{n}a_i-b \\ a_2 & a_2-b & \cdots & a_2 \\ a_3 & a_3 & & a_3 \\ \vdots & \vdots & \vdots & \vdots \\ a_n & a_n & \cdots & a_n-b \end{vmatrix}\\ \xlongequal{c_j - c_1, j = 2,\cdots,n} \begin{vmatrix} \sum _{i=1}^{n}a_i-b & 0 & \cdots & 0 \\ a_2 & -b & \cdots & 0 \\ a_3 & 0 & & 0 \\ \vdots & \vdots & \vdots & \vdots \\ a_n & 0 & \cdots & -b \end{vmatrix}\xlongequal{按照a_{11}展开} (\sum _{i=1}^{n}a_i-b)(-1)^{n-1}b$
例3：
$\begin{aligned} D_n= \begin{vmatrix} x & -1 & & \\ & x &-1 & \\ & & & \\ & & \ddots & \\ & & x & -1 \\ a_n & \cdots & a_2 & a_1+x \end{vmatrix} ，空白处均为0，求D_n的值。 \end{aligned}$
答：当0为多数时，直接展开即可，这里选取第一列展开，即 $x$ 乘上其代数余子式加上 $a_n$ 乘上其代数余子式，结果为 $x^n+a_1x^{n-1}+a_2x^{n-2}+\cdots+a_{n-1}x+a_n$

例4：
$D_{n+1} = \begin{vmatrix} 1 & 1 & \cdots & 1 & 1 & a_0\\ 0 & 0 & \cdots & 0 & a_1 & 1\\ 0 & 0 & \cdots & a_2 & 0 & 1\\ \vdots & \vdots & \vdots & \vdots & \vdots & \vdots\\ 0 & a_{n-1} & \cdots & 0 & 0 & 1\\ a_n & 0 & \cdots & 0 & 0 & 1\\ \end{vmatrix}，求值。$
答：除了0以外的元素组成了一个箭头，这种时候可以试着消除箭头一遍，造一个三角矩阵。这里消除 $c_{n+1}$ 列下所有的1，转换成次三角，根据特殊行列式的值2的公式可得：
$D_{n+1} \xlongequal{c_{n+1}-\frac{1}{a_{n+1-i}}c_i, i=1,..n} \begin{vmatrix} 1 & 1 & \cdots & 1 & 1 & a_0 - \frac{1}{a_n}-\cdots-\frac{1}{a_1}\\ 0 & 0 & \cdots & 0 & a_1 & 0\\ 0 & 0 & \cdots & a_2 & 0 & 0\\ \vdots & \vdots & \vdots & \vdots & \vdots & \vdots\\ 0 & a_{n-1} & \cdots & 0 & 0 & 0\\ a_n & 0 & \cdots & 0 & 0 & 0\\ \end{vmatrix}\\ =(-1)^{\frac{(n+1)n}{2}}(a_1\cdots a_n)(a_0-\frac{1}{a_n}-\cdots-\frac{1}{a_1})$

例5：
$D_n= \begin{vmatrix} 1 & 1 & \cdots & 1 \\ 2 & 2^2 & \cdots & 2^n\\ 3 & 3^2 & \cdots & 3^n \\ \vdots & \vdots & \vdots & \vdots\\ n & n^2 & \cdots & n^n\\ \end{vmatrix}，求值。$
答：看起来很像范德蒙德。根据性质3提取各行公因子：
$D_n= \begin{vmatrix} 1 & 1 & \cdots & 1 \\ 1 & 2 & \cdots & 2^{n-1}\\ 1 & 3 & \cdots & 3^{n-1} \\ \vdots & \vdots & \vdots & \vdots\\ 1 & n & \cdots & n^{n-1}\\ \end{vmatrix}\times n! \xlongequal{利用范德蒙德} \prod_{n\ge i\ge j \ge 1}(x_i-x_j)\times n! \\=(2-1)(3-1)\cdots (n-1) \cdot(3-2)(4-2)\cdots (n-2)\\ \cdots 1\cdot n! = n!(n-1)!(n-2)!\cdots 2!1!$

1.3 代数余子式

余子式： $M_{ij}$ ，除去 $a_{ij}$ 所在行列的行列式
代数余子式： $A_{ij} = (-1)^{i+j}M_{ij}$

例1：
$\begin{aligned} D_4 = \begin{vmatrix} 4 & 1 & 2 & 4 \\ 1 & 2 & 0 & 2\\ 0 & 1 & 1 & 7 \\ 10 & 5 & 2 & 3\\ \end{vmatrix}，求&①A_{31}+2A_{32}+3A_{33}+4A_{34}\\ &②第4行代数余子式之和\\ & ③第4行余子式之和 \end{aligned}$
答：①因为涉及到第3行，可以直接把第三行换成1 2 3 4，解得-145；
②带符号， $A_{41}+A_{42}+A_{43}+A_{44}=-36$ ;
③不带符号， $M_{41}+M_{42}+M_{43}+M_{44}=18$

2 矩阵及其计算

2.1 逆矩阵

矩阵行列式值不为0时，矩阵可逆。
求逆矩阵的常用方法：

伴随矩阵法：当 $|A|\neq 0$ ， $A^{-1} = \frac{A^*}{|A|}$ ，适用于 $n\leq 3$ 。伴随矩阵 $A^*$ 是由代数余子式组成并转置后形成的。
$A^* = \begin{pmatrix} A_{11} & \cdots & A_{n1}\\ A_{12} & \cdots & A_{n2}\\ \vdots & \vdots & \vdots\\ A_{1n} & \cdots & A_{nn}\\ \end{pmatrix}$
对于二阶矩阵，当 $ad-bc\neq0$ 时， $\begin{pmatrix} a & b \\ c & d \\ \end{pmatrix}^{-1} = \frac{1}{ad-bc}\begin{pmatrix} d & -b \\ -c & a \\ \end{pmatrix}$
初等变换求逆：使用同阶单位矩阵，经过变换得到逆矩阵：
$\sim (E|A^{-1})， E=\begin{pmatrix}1 & 0 & 0\\ 0 & 1 & 0\\ 0& 0 & 1\end{pmatrix}$
分块矩阵求逆
$当|A_1||A_2|\cdots |A_s|\neq 0, \begin{pmatrix} A_1 & & &\\ & A_2 & & &\\ & & \ddots &\\ & & & A_s \end{pmatrix}^{-1} = \begin{pmatrix} A_1^{-1} & & &\\ & A_2^{-1} & & &\\ & & \ddots &\\ & & & A_s^{-1} \end{pmatrix}$
空白部分均为0，另一种矩阵是从右上 $A_1$ 到左下 $A_s$ ，其逆矩阵为右上 $A_s^{-1}$ 到左下 $A_1^{-1}$
利用定义计算逆矩阵，一般用于抽象矩阵
当 $A B = B A = E$ ，则 $A$ 可逆，且 $A^{-1} = B$

例1：
$A=\begin{pmatrix} 3 & 0 & 0 \\ 1 & 4 & 0 \\ 0 & 0 & 3 \\ \end{pmatrix}，计算(A-2E)^{-1}$
答： $A-2E=\begin{pmatrix} 3-2 & 0 & 0 \\ 1 & 4-2 & 0 \\ 0 & 0 & 3-2 \\ \end{pmatrix} = B$
方法1，用 $B^{-1} = \frac{B^*}{|B|}$ 计算，得 $B^{-1}=\begin{pmatrix} 2 & 0 & 0 \\ -1 & 1 & 0 \\ 0 & 0 & 2 \\ \end{pmatrix}$
方法2，分块矩阵利用上述性质4求逆，其中单一矩阵 $(a)^{-1} = (\frac{1}{a})$ 。
$A-2E=\begin{pmatrix} 1 & 0 &|& 0 \\ 1 & 2 & |&0 \\ \hline 0 & 0 &|& 1 \\ \end{pmatrix} = B = \begin{pmatrix} A_1 & 0\\ 0 & A_2\\ \end{pmatrix}$
方法3， $|E)\xlongequal{r_2-r_1}X_1\xlongequal{r_2\div2}(E|(A-2E)^{-1})$

例2：
$A=\begin{pmatrix} 0 & a_1 & 0 &\cdots & 0\\ 0 & 0 & a_2 &\cdots & 0\\ \vdots & \vdots& \vdots & & \vdots\\ 0 & \cdots & 0 &\cdots & a_{n-1}\\ a_n & 0 & 0 &\cdots & 0\\ \end{pmatrix}, a_i\neq 0，求A^{-1}$
答：分块矩阵转变 $A=\begin{pmatrix} 0 &|& a_1 & 0 &\cdots & 0\\ 0 &|& 0 & a_2 &\cdots & 0\\ \vdots & |& \vdots& \vdots & & \vdots\\ 0 &|& \cdots & 0 &\cdots & a_{n-1}\\ \hline a_n &|& 0 & 0 &\cdots & 0\\ \end{pmatrix} = \begin{pmatrix} 0 & B\\ C & 0 \end{pmatrix}，再根据上述性质4解得$
$A^{-1}=\begin{pmatrix} 0 & 0 &\cdots &\cdots & \frac{1}{a_n}\\ \frac{1}{a_1} & 0 &\cdots &\cdots & 0\\ 0 & \frac{1}{a_2} & 0&\cdots &\vdots\\ \vdots & \vdots& \vdots & \vdots& \vdots\\ 0 & 0 &\cdots & \frac{1}{a_n } & 0\\ \end{pmatrix}$

例3： $A^3-2A^2+3A-4E=0$ ，证 $A - E$ 可逆，求 $A-E)^{-1}$
答：抽象矩阵，可以用定义计算。凑一个 $(A - E) (?) = E$ ，为了凑出（？），将 $A^3-2A^2+3A-4E$ 除以 $(A - E)$ ，解得商为 $A^2-A+2E)$ 余 $(- 2 E)$ 。
因此， $\begin{aligned}A^3-2A^2+3A-4E=(A-E)(A^2-A+2E)-2E=0 \\(A-E)[\frac{1}{2}(A^2-A+2E)] = E\\ (A-E)^{-1}=\frac{1}{2}(A^2-A+2E) \end{aligned}$
如果不用除法凑出来，可以直接设 $A-E)(aA^2+bA+cE)=dE$ ，解得 $a = 1, b = - 1, c = 2, d = 2$

2.2 矩阵方程

求矩阵方程步骤：

移项，将未知项放入一边
合并，提取未知项前面的矩阵做合并。 $AX\pm BX = (A \pm B)X$ ，但是 $AX\pm XB$ 则不可合并，因为矩阵相乘不满足交换律。
还原， $\left\{ \begin{array}{lr} AX = B & 当A可逆，则左乘A^{-1} => X= A^{-1}B \\ XA = B & 当A可逆，则右乘A^{-1} => X= BA^{-1} \end{array}\right.$