机器学习笔记（三）矩阵和线性代数

@(Machine Learning)[线性代数]

1.行列式

• $1\times1$方阵的行列式为该元素本身。
  $$A=(a_{11})$$ $$|A| = a_{11}$$
• $2\times2$方阵，其行列式用主对角线元素乘积减去次对角线元素的乘积。
  $$A=\begin{equation} \left( \begin{array}{ccc} a_{11} & a_{12} \\ a_{21} & a_{22} \end{array} \right) \end{equation}$$
  $$|A| = a_{11} a_{22}- a_{12} a_{21}$$
• $3\times3$阶方阵
  $$A=\begin{equation} \left( \begin{array}{ccc} a_{11} & a_{12}& a_{13} \\ a_{21} & a_{22} & a_{23}\\ a_{31} & a_{32}& a_{33} \end{array} \right) \end{equation}$$
  三阶矩阵发现$a_{12}$的对角线少一部分（也就是$a_{23}$的右下部分缺失）。一种方法是copy三个完全一样的矩阵做补充。
  

行列式计算方法是一样的：
$|A|=a_{11}a_{22}a_{33}+a_{12}a_{23}a_{31}+a_{13}a_{21}a_{32}-a_{11}a_{23}a_{32}-a_{12}a_{21}a_{33}-a_{13}a_{22}a_{31}$

• 另一种方式就是利用代数余子式来计算

  • 在一个$n$阶行列式$A$中，把$(i,j)$元素$a_{ij}$所在的第$i$行和第$j$列划去后，留下的$n-1$阶方阵的行列式叫做元素$a_{ij}$的余子式，记作$M_{ij}$。
  • 代数余子式：$A_{ij}=(-1)^{i+j}M_{ij}$
    注意：代数余子式是个数值！

    
    下图方框里计算的值便是$a_{11}$$a_{12}$的代数余子式$M_{11}$,$M_{12}$
    

• n阶的行列式等于它的任意一行（或列）的各元素与其对应的代数余子式乘积之和。

  • 对于任意一列 $$\forall \leq j\leq n, |A| = \sum_{i=1}^n a_{ij}(-1)^{i+j}M_{ij}$$
  • 对于任意一行 $$\forall \leq i\leq n, |A| = \sum_{j=1}^n a_{ij}(-1)^{i+j}M_{ij}$$
  • 所以上面三阶方阵的行列式A就是：$|A|=a_{11}(a_{22}a_{33}-a_{23}a_{32})+a_{12}(a_{21}a_{33}-a_{23}a_{31})+a_{13}(a_{21}a_{32}-a_{23}a_{31})$

2.伴随矩阵

对于$n\times n$方阵的任意元素a_{ij}都有各自的代数余子式$A_{ij}=(-1)^{i+j}M_{ij}$，构造$n\times n$的方阵$A^*$:

$$A=\begin{equation} \left( \begin{array}{ccc} A_{11} &A_{21}&...& A_{n1} \\ A_{12} & A_{22}&... & A_{n2}\\ ... & ...&... & ...\\ A_{1n} & A_{2n}&...& A_{nn} \end{array} \right) \end{equation}$$

• $A^*$称为$A$的伴随矩阵
• 注意：$A_{12}$的位置和前面的是相反的，$A_{ij}$位于$A^*$的第$j$行第$i$列

3.方阵的逆$A\cdot A^* = |A|\cdot I$

由前面的结论

∀≤i≤n,|A|=∑