Matrices

写在前面

花了十天，从头到尾看完了Dr. Strang的线性代数，不说鹈鹕灌顶，却也是令人豁然开朗，顿感大一的线性代数学习完全是在蹉跎时光。于是我打算分几篇文章分享一下这段时间的收获，也算是做一个总结和回顾。

那这第一篇文章，就来介绍一些基本的、有用的、优美的矩阵吧。

前排声明，本人数学基础约等于0，有写错的地方欢迎指正。

未加特殊说明，以下矩阵均为n阶方阵。

可逆矩阵 Invertible Matrix

可逆矩阵，又称满秩矩阵、非奇异矩阵，是线性代数中非常重要的一类矩阵。如下式所示，B即为A的逆矩阵。
$$\begin{array}{rl}\mathbf{AB}& =\mathbf{I}\\ \mathbf{B}& ={\mathbf{A}}^{-1}\end{array}$$
可逆矩阵拥有以下性质：

• 矩阵$\mathbf{A}$各行/各列线性无关
• 矩阵$\mathbf{A}$的行空间/列空间为n维，零空间/左零空间为0维（即只含零向量）
• $\left|\mathbf{A}\right|\ne 0$
• 方程组$\mathbf{Ax}=\mathbf{b}$有唯一解
• 若$\mathbf{B}$也可逆，则$(\mathbf{AB}{)}^{-1}={\mathbf{B}}^{-1}{\mathbf{A}}^{-1}$
• ${\mathbf{A}}^{-1}$的特征值是$\mathbf{A}$的倒数
• ${\mathbf{A}}^{-1}=\frac{1}{|\mathbf{A}|}{\mathbf{A}}^{\ast }$，${\mathbf{A}}^{\ast }$为$\mathbf{A}$的伴随矩阵

对称矩阵 Symmetric Matrix

对称矩阵是指以主对角线为对称轴，各元素对应相等的矩阵，即：
$$\begin{array}{r}{\mathbf{A}}^{\mathbf{T}}=\mathbf{A}\end{array}$$

对称矩阵拥有以下性质：

• 矩阵$\mathbf{A}$的特征值为实数，有一组正交的特征向量
• 矩阵$\mathbf{A}$可以进行更好的对角化，$\mathbf{A}=\mathbf{S\Lambda }{\mathbf{S}}^{-1}=\mathbf{Q\Lambda }{\mathbf{Q}}^{\mathbf{T}}$

正定矩阵 Positive Definite Matrix

满足下式的矩阵为正定矩阵：
$$\begin{array}{r}{\mathbf{x}}^{\mathbf{T}}\mathbf{Ax}>0\left(\mathbf{x}\ne 0\right)\end{array}$$

正定矩阵$\mathbf{A}$拥有以下性质：

• 正定矩阵是一类特殊的对称矩阵
• 矩阵$\mathbf{A}$的特征值均为正数
• 矩阵$\mathbf{A}$左上角的所有$k\times k\left(1\le k\le n\right)$阶子行列式数值均为正
• 若$\mathbf{B}$为正定矩阵，则$\mathbf{A}+\mathbf{B}$也为正定矩阵

对角矩阵 Diagonal Matrix

对角矩阵是除了主对角线之外的元素皆为0的矩阵，例如：
$$\mathbf{A}=\left(\begin{array}{ccc}{\lambda }_1& 0& 0\\ 0& {\lambda }_2& 0\\ 0& 0& {\lambda }_3\end{array}\right)$$
对称矩阵拥有以下性质：

• 对角矩阵是一类特殊的对称矩阵
• 对角线上的值即为特征值
• 对角矩阵的乘积仍为对角阵

反对称矩阵 Skew-symmetric Matrix

反对称矩阵，又称斜对称矩阵或交错矩阵，指满足下式的矩阵：
$$\begin{array}{r}{\mathbf{A}}^{\mathbf{T}}=-\mathbf{A}\end{array}$$

对称矩阵拥有以下性质：

• 矩阵$\mathbf{A}$的主对角线元素均为0
• 矩阵$\mathbf{A}$的特征值为纯虚数，有一组正交的特征向量

正交矩阵 Orthogonal Matrix

（实数）正交矩阵，指满足下式的矩阵：
$$\begin{array}{r}{\mathbf{A}}^{\mathbf{T}}\mathbf{A}=\mathbf{I}\end{array}$$

正交矩阵拥有以下性质：

• 矩阵$\mathbf{A}$各行/各列标准正交
• 矩阵$\mathbf{A}$的特征值为$\pm 1$，有一组正交的特征向量
• ${\mathbf{A}}^{-1}={\mathbf{A}}^{\mathbf{T}}$，因此$\mathbf{A}$一定是可逆矩阵

厄米特矩阵 Hermitian Matrix

厄米特矩阵是指以主对角线为对称轴，各元素对应共轭相等的矩阵，即：
$$\begin{array}{r}{\mathbf{A}}^{\mathbf{H}}={\bar{\mathbf{A}}}^{\mathbf{T}}=\mathbf{A}\end{array}$$

厄米特矩阵拥有以下性质：

• 对称矩阵是实数域中的厄米特矩阵
• 矩阵$\mathbf{A}$的对角线为实数
• 矩阵$\mathbf{A}$的特征值为实数，有一组正交的特征向量

幺正矩阵 Unitary Matrix

幺正矩阵是指满足下式的矩阵：
$$\begin{array}{r}{\mathbf{A}}^{\mathbf{H}}\mathbf{A}=\mathbf{I}\end{array}$$

幺正矩阵拥有以下性质：

• 正交矩阵是实数域中的幺正矩阵
• 矩阵$\mathbf{A}$各行/各列标准正交
• 矩阵$\mathbf{A}$的特征值都是模为1的复数
• ${\mathbf{A}}^{-1}={\mathbf{A}}^{\mathbf{H}}$

黑塞矩阵 Hessian Matrix

黑塞矩阵，是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率，二元黑塞矩阵形式如下：
$$\begin{array}{r}\mathbf{A}=\left(\begin{array}{cc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}\end{array}\right)\end{array}$$

当函数$f$在点${\mathbf{M}}_0$的邻域内具有二阶连续偏导时，矩阵$\mathbf{A}$为对称矩阵，若此时一阶导数为0，则有如下结果：

• 当矩阵$\mathbf{A}$为正定矩阵时，函数$f$在点${\mathbf{M}}_0$有极小值
• 当矩阵$\mathbf{A}$为负定矩阵时，函数$f$在点${\mathbf{M}}_0$有极大值
• 当矩阵$\mathbf{A}$为不定矩阵时，函数$f$在点${\mathbf{M}}_0$无极值
• 当矩阵$\mathbf{A}$为半正定/半负定矩阵时，函数$f$在点${\mathbf{M}}_0$有可疑极值，需再做判断

投影矩阵 projection matrix

投影矩阵，其作用是将其他向量投影到某空间中，这里不做详细推导，仅展示结论。

对于任意列满秩矩阵$\mathbf{A}$（大概率非方阵），矩阵$\mathbf{P}$可以将任意向量投影到矩阵$\mathbf{A}$的列空间中：
$$\begin{array}{rl}\mathbf{P}& =\frac{\mathbf{a}{\mathbf{a}}^{\mathbf{T}}}{{\mathbf{a}}^{\mathbf{T}}\mathbf{a}}(n=1)\\ \mathbf{P}& =\mathbf{A}({\mathbf{A}}^{\mathbf{T}}\mathbf{A}{)}^{-1}{\mathbf{A}}^{\mathbf{T}}\end{array}$$

投影矩阵拥有以下性质：

• 当矩阵$\mathbf{A}$列满秩时，$\mathbf{P}$存在，$rank(\mathbf{P})=rank(\mathbf{A})$
• ${\mathbf{P}}^{\mathbf{k}}=\mathbf{P}$，投影次数不影响效果
• $\mathbf{P}={\mathbf{P}}^{\mathbf{T}}$，投影矩阵是对称矩阵
• 矩阵$\mathbf{P}$的特征值为1与0

马尔可夫矩阵 Markov Matrix

马尔可夫矩阵，其任意元素非负，且每列元素和为1，例如：
$$\mathbf{A}=\left(\begin{array}{ccc}0.1& 0.01& 0.3\\ 0.2& 0.99& 0.3\\ 0.7& 0& 0.4\end{array}\right)$$
马尔可夫矩阵拥有以下性质：

• 矩阵$\mathbf{A}$一定有一个特征值为1
• 其余特征值的绝对值均小于1

相似矩阵 Similar Matrix

相似矩阵并不是某个矩阵的名字，而是描述两个矩阵间的关系，当矩阵$\mathbf{A}$与矩阵$\mathbf{B}$满足以下关系时，矩阵$\mathbf{A}$与矩阵$\mathbf{B}$为相似矩阵：
$$\begin{array}{r}\mathbf{B}={\mathbf{M}}^{-1}\mathbf{AM}\end{array}$$
相似矩阵拥有以下性质：

• 相同的特征值
• $rank(\mathbf{B})=rank(\mathbf{A})$
• 行列式、迹相等（可不是吗）