矩阵的基本概念

基本演算

1. 矩阵的转置 \[\begin{equation} (\mathbf{A}+\mathbf{B})^T = \mathbf{A}^T+\mathbf{B}^T \end{equation} \]
   \[\begin{equation} (\mathbf{AB})^T = \mathbf{B}^T\mathbf{A}^T \end{equation} \]
   上面\(\mathbf{A}\in\mathbb{R}^{m\times n}\)

2. 矩阵的逆
   对于矩阵\(\mathbf{A}\in\mathbb{R}^{m\times n}\)，若 \(m=n\)，则称\(\mathbf{A}\)为\(n\)阶方阵。
   如果\(\mathbf{A}\mathbf{A}^{-1} = \mathbf{A}^{-1}\mathbf{A}= \mathbf{I}\)，则称\(\mathbf{A}^{-1}\)为逆矩阵。
   \[\begin{equation} (\mathbf{A}^T)^{-1} = (\mathbf{A}^{-1})^T \end{equation}\]
   \[\begin{equation} (\mathbf{AB})^{-1} = \mathbf{B}^{-1}\mathbf{A}^{-1} \end{equation}\]

3. 矩阵的迹
   定义为方阵中主对角线上的元素之和，即\(tr(\mathbf{A}) = \sum_{i=1}^{n}A_{ij}\)
   \[\begin{equation} tr(\mathbf{A}^T) = tr(\mathbf{A}) \end{equation}\] \[\begin{equation} tr(\mathbf{A+B}) = tr(\mathbf{A}) +tr(\mathbf{B}) \end{equation}\]
   \[\begin{equation} tr(\mathbf{AB}) = tr(\mathbf{BA}) \end{equation}\]
   \[\begin{equation} tr(\mathbf{ABC}) = tr(\mathbf{BCA}) tr(\mathbf{CBA}) \end{equation}\]

4. 矩阵的行列式 (determinant)

   \[\begin{equation} det(\mathbf{A}) = \sum_{\mathbf{\sigma}\in S_n}par(\mathbf{\sigma})A_{1\sigma_1}A_{2\sigma_2}\dots A_{n\sigma_n} \end{equation}\]
   其中\(S_n\)是所有\(n\)阶排列 (permutation) 的集合。\(par(\mathbf{\sigma})\) 的值为 \(-1\) 或 \(+1\)，取决于\(\mathbf{\sigma} = (\sigma_1,\sigma_2,\cdots ,\sigma_n)\) 为奇排列或偶排列，即出现降序的次数是奇数或偶数。
   \[\begin{equation} det(c\mathbf{A}) = c^ndet(\mathbf{A})\\ \end{equation}\] \[\begin{equation} det(\mathbf{A})^T=det(\mathbf{A}) \end{equation}\]

   \[\begin{equation} det(\mathbf{AB})^T=det(\mathbf{A})det(\mathbf{B}) \end{equation}\] \[\begin{equation} det(\mathbf{A^{-1}})=det(\mathbf{A})^{-1} \end{equation}\] \[\begin{equation} det(\mathbf{A^{n}})=det(\mathbf{A})^{n} \end{equation}\]

5. Frobenius 范数

   对于\(\mathbf{A}\in \mathbb{R}^{m \times n}\)，其 Frobenius 范数定义如下：
   \[\begin{equation} \Vert\mathbf{A}\Vert_F = (tr(\mathbf{A}^T\mathbf{A}))^{1/2}=(\sum_{i=1}^{m}\sum_{j=1}^{n}A_{ij}^{2})^{1/2} \end{equation}\]

酉矩阵

设\(\mathbf{A} \in \mathbf{C}^{m\times n}\)，用\(\mathbf{\bar{A}} \)表示以\(\mathbf{A} \)的元素的共轭复数组成的矩阵，令\(\mathbf{A}^H=(\mathbf{\bar{A}})^T\)，则称\(\mathbf{A}^H\)为\(\mathbf{A} \) 的复共轭转置矩阵。
若\(\mathbf{A}^H = \mathbf{A}\)，则称\(\mathbf{A}\)为 Hermite 矩阵。
若\(\mathbf{A}^H = -\mathbf{A}\)，则称\(\mathbf{A}\)为反 Hermite 矩阵。
若\(\mathbf{A}^H\mathbf{A} = \mathbf{A}\mathbf{A}^H = \mathbf{I}\)，则称\(\mathbf{A}\) 为酉矩阵，记为\(\mathbf{A}\in \mathbf{U}^{m\times n}\)
一般的，如果\(\mathbf{A}^T\mathbf{A} = \mathbf{A}\mathbf{A}^T = \mathbf{I}\)，则称\(\mathbf{A}\) 为正交矩阵。
酉矩阵是正交矩阵的推广。

奇异值与分解

任意实矩阵\(\mathbf{A}\in \mathbb{R}^{m\times n}\)，都可分解为
\[\begin{equation} \mathbf{A} = \mathbf{U\Sigma}\mathbf{V}^T \end{equation}\]
其中\(\mathbf{U}\in \mathbb{R}^{m\times m}\)是满足\(\mathbf{U}^T\mathbf{U} = \mathbf{I}\)的 \(m\)阶酉矩阵。\(\mathbf{V}\in \mathbb{R}^{n\times n}\)是满足\(\mathbf{V}^T\mathbf{V} = \mathbf{I}\)的 \(n\)阶酉矩阵。\(\mathbf{\Sigma}\in \mathbb{R}^{m\times n}\)，其中\((\mathbf{\Sigma})_{ii}=\sigma_i\)，且其他位置是0。\(\sigma_i\)是非负实数，且\(\sigma_1 \geqslant \sigma_2 \geqslant \cdots \geqslant 0\)，称为奇异值 (singular value)。
矩阵 \(\mathbf{A}\) 的秩等于非零奇异值的个数。

特征值与分解

假定 \(\mathbf{A} \in \mathbb{R}^{n \times n}\)，\(\boldsymbol{x} \in \mathbb{R}^{n \times 1}\)，且存在\(\lambda\)，使得
\[\begin{equation} \mathbf{A}\boldsymbol{x} = \lambda \boldsymbol{x} \end{equation}\]
则称 \(\boldsymbol{x}\) 为特征向量，\(\lambda\) 为对应的特征值。
特征值分解是将一个矩阵分解为如下形式：
\[\begin{equation} \boldsymbol{A} =\boldsymbol{QAQ^{-1}} \end{equation}\]
其中，\(\boldsymbol{Q}\)是由特征向量组成的矩阵。

正定矩阵

一个 \(n\) 阶实对称矩阵 \(\boldsymbol{M}\) 是正定的，当且仅当对于任何非零向量\(\boldsymbol{x}\in \mathbb{R}^{n\times 1}\)，都有\(\boldsymbol{x}^T \boldsymbol{Mx}>0\)。
对于 \(n\) 阶实对称矩阵 \(\boldsymbol{M}\)，下面命题等价：

• \(\boldsymbol{M}\) 是正定矩阵
  
• \(\boldsymbol{M}\) 的一切顺序主子式为正
  
• \(\boldsymbol{M}\) 的一切主子式为正
  
• \(\boldsymbol{M}\) 的特征值为正
  
• 存在实可逆矩阵\(\boldsymbol{C}\) ，使得\(\boldsymbol{M} =\boldsymbol{C}^T\boldsymbol{C} \)

参考

• 机器学习
• 对称矩阵、Hermite矩阵、正交矩阵、酉矩阵、奇异矩阵、正规矩阵、幂等矩阵
• 特征值分解、奇异值分解、PCA概念整理

转载于:https://www.cnblogs.com/huahuahu/p/ju-zhen-de-ji-ben-gai-nian.html