DeepLearning深度学习（花书）读书笔记——线性代数（二）

接上一篇文章 ： DeepLearning深度学习（花书）读书笔记——线性代数（一）

---

6、特殊类型的矩阵和向量

  有些特殊类型的矩阵是特别有用的。

  对角矩阵：只在主对角线上含有非零元素，其它位置元素都是零。即矩阵$\mathbf{D}$是对角矩阵的条件为：当且仅当对于所有的$i\ne j,D_{i,j}=0$。比如之前章节中出现的对角矩阵：单位矩阵，其对角元素都是1.在数学上，可以用$diag(\mathbf{v})$表示对角元素由向量$\mathbf{v}$给定一个对角方阵。
  对角矩阵的乘法计算非常高效，计算$diag(\mathbf{v})\mathbf{x}$时，只需要将$\mathbf{x}$中每个元素$x_i$放大$v_i$倍，即$diag(\mathbf{v})\mathbf{x}=\mathbf{v}\odot \mathbf{x}$。当且仅当对角元素都是非零值时，对角方阵的逆矩阵是存在的，计算也很高效，即$diag(\mathbf{v}{)}^{\text{-}1}=diag([1/v_1,1/v_2,\dots ,1/v_n{]}^{\top })$。
  在机器学习中，通过将一引起矩阵限制为对角矩阵，可以得到计算代价较低的算法。
  并非所有的对角矩阵都是方阵。非方阵的对角矩阵没有逆矩阵，但我们仍可以高效的计算它们的乘法。对于长方形对角矩阵$\mathbf{D}$而言，乘法$\mathbf{Dx}$会涉及$\mathbf{x}$中每个元素的缩放，如果$\mathbf{D}$是瘦长型矩阵，那么在缩放后的末尾添加一些零；如果$\mathbf{D}$是胖宽型矩阵，那么在缩放后去掉最后一些元素。例如：
$$\left[\begin{array}{ccc}1& 0& 0\\ 0& 2& 0\\ 0& 0& 3\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]\left[\begin{array}{c}6\\ 5\\ 4\end{array}\right]=\left[\begin{array}{c}6\\ 10\\ 12\\ 0\\ 0\end{array}\right]和\left[\begin{array}{ccccc}1& 0& 0& 0& 0\\ 0& 2& 0& 0& 0\\ 0& 0& 3& 0& 0\end{array}\right]\left[\begin{array}{c}6\\ 5\\ 4\\ 3\\ 2\end{array}\right]=\left[\begin{array}{c}6\\ 10\\ 12\end{array}\right]$$
  对称矩阵：转置和自己相等的矩阵，即：
$$\mathbf{A}={\mathbf{A}}^{\top }\text{\hspace{1em}(2.35)}$$
  单位向量是具有单位范数的向量，即：
$$||\mathbf{x}|{|}_2=1\text{\hspace{1em}(2.36)}$$
  如果${\mathbf{x}}^{\top }\mathbf{y}=0$，那么向量$\mathbf{x}$和向量$\mathbf{y}$相互正交，如果两个向量都有非零范数，则这两个向量之间的夹角是$90^o$。在${\mathbb{R}}^n$中，最多有$n$ 个范数非零向量相互正交，如果这些向量范数都为$1$，我们称为标准正交。
  正交矩阵：定义为一个行向量和列向量都标准正交的方阵，例如：
$$\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]或\left[\begin{array}{ccc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}& 0\\ \frac{1}{\sqrt{2}}& \text{-}\frac{1}{\sqrt{2}}& 0\\ 0& 0& 1\end{array}\right]$$
正交矩阵有以下性质：
$${\mathbf{A}}^{\top }\mathbf{A}=\mathbf{A}{\mathbf{A}}^{\top }=\mathbf{I}\text{\hspace{1em}(2.37)}$$
其中，$\mathbf{I}$是单位阵，则有：