《深度学习》第二章线性代数

第二章 线性代数

目录

线性代数的表示

• 标量(Scalars)
  单个数值：整数5、实数0.5、有理数1/3等
  用小写字母表示，如 a, n, x

• 向量(Vectors)
  一维数组，无特别说明，即指列向量
  加粗小写，如
  $$\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ ...\\ x_n\end{array}\right]={\left(\begin{array}{c}{x}_1,x_2,...,x_n\end{array}\right)}^T$$

• 矩阵(Matrix)
  二维数组
  大写字母表示 $A_{m\times n}$ 或 $A\in R^{m\times n}$
  向量可视为 $m\times 1$ 的矩阵

• 张量(Tensor)
  数组的扩展

矩阵的转置

• 定义：行、列坐标互换，行变列，列变行

$(A^T{)}_{i,j}=A_{j,i}$

如:
$$\begin{gathered} A_{3\times 2}=\left[\begin{array}{cc}{A}_{1,1}& A_{1,2}\\ A_{2,1}& A_{2,2}\\ A_{3,1}& A_{3,2}\end{array}\right]则 \\ {A}_{2\times 3}^T=\left[\begin{array}{ccc}{A}_{1,1}& A_{2,1}& A_{3,1}\\ A_{1,2}& A_{2,2}& A_{3,2}\end{array}\right] \end{gathered}$$

矩阵的转置有性质:
$$(AB{)}^T=B^T{A}^T$$

矩阵相乘

• 第一种理解：元素为列乘以行

有矩阵$A_{m\times n}$ $B_{l\times k}$ 若 $n=l$，$AB$ 存在

矩阵$A$ $B$ 相乘，其元素由下式计算
$$(AB{)}_{i,j}=\sum _k{A}_{i,k}{B}_{k,j}$$
如
$$AB=\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\end{array}\right]\left[\begin{array}{cc}1& 4\\ 2& 5\\ 3& 6\end{array}\right]=\left[\begin{array}{cc}(1,2,3)(1,2,3{)}^T& (1,2,3)(4,5,6{)}^T\\ (4,5,6)(1,2,3{)}^T& (4,5,6)(4,5,6{)}^T\end{array}\right]$$
另一种理解：行乘以列的各矩阵相加
$$\begin{gathered} AB=\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\end{array}\right]\left[\begin{array}{cc}1& 4\\ 2& 5\\ 3& 6\end{array}\right]=(1,4)(1,4{)}^T+(2,5)(2,5{)}^T+(3,6)(3,6{)}^T \\ =\left[\begin{array}{cc}1& 4\\ 4& 16\end{array}\right]+\left[\begin{array}{cc}4& 10\\ 10& 25\end{array}\right]+\left[\begin{array}{cc}9& 18\\ 18& 36\end{array}\right] \end{gathered}$$

向量的线性相关性与矩阵的秩

• 定义
  对向量组${\mathbf{x}}_1,{\mathbf{x}}_2,...,{\mathbf{x}}_s(s\ge 1)$ 若存在一组不全为0的数
  $$k_1,...,k_s$$
  使得
  $$k_1{\mathbf{x}}_1+...+k_s{\mathbf{x}}_s=0$$
  则称该向量组线性相关，反之，则线性无关
  线性无关的充要条件：其中任何一个向量不能由其余向量线性表出

• 极大线性无关组
  对于一个向量组$\mathbf x_1, …, \mathbf x_s $，若存在一个部分组，满足：

1. 这个部分组线性无关

2. 如果从向量组的其余部分中任取一个添加进去，则到的新部分组都线性相关，则这个部分组称为向量组$\mathbf x_1, …, \mathbf x_s $的极大线性无关组

   向量组与它的任意一个极大线性无关组等价（等价——互可线性表出）
   不含零向量的向量组如果线性相关，则它的极大线性无关组肯定不止一个

• 向量组的秩
  向量组的一个极大线性无关组所含的向量的个数，记为 r a n k { x 1 , . . . , x s } rank\{\mathbf x_1, ..., \mathbf x_s\} rank{x1​,...,xs​}

• 矩阵的秩
  矩阵的列微量组的秩称为 $A$ 的列秩，$A$ 的行向量组的秩称为 $A$ 的行秩
  任一矩阵的行秩等于其列秩，统称为矩阵 $A$ 的秩，记作 $rank(A)$

单位矩阵与逆矩阵

• 方阵：行数等于列数 $A_{n\times n}$

• 对角矩阵：对于一个方阵，对角线外的元素均为零，即为对角矩阵

• 单位矩阵：对于一个对角矩阵，对角线上的元素均为1，即为单位矩阵，用$I_n$表示

• 逆矩阵：对方阵$A_n$，若存在方阵$B_n$使得 $AB=BA=I$，则$A$为可逆矩阵，$B$与$A$互为逆矩阵

• 矩阵可逆的等价条件

1. $A$为满秩矩阵(满秩矩阵——矩阵的秩等于方阵的列数/行数)
2. $A$的各列线性无关

• 非满秩方阵称为奇异矩阵

向量的范数

• 向量的大小用范数来衡量，形式上，$L^P$ 范数定义
  $$||x|{|}_P={(\sum _i|x_i{|}^p)}^{\frac{1}{p}}$$
  $$||\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]|{|}_2=\sqrt{1^2+2^2+3^2}$$
  范数满足下列性质

1. 非负性：若 $\mathbf{x}\ne 0$，则 $f(\mathbf{x})>0$；$f(\mathbf x)=0 \Rightarrow \mathbf x = \mathbf 0 $
2. 三角不等式（不要与凸函数性质混淆）：$f(\mathbf{x}+\mathbf{y})\le f(\mathbf{x})+f(\mathbf{y})$
3. 齐次性：$\forall \alpha \in \mathbb{R},f(\alpha \mathbf{x})=|\alpha |f(\mathbf{x})$

• 几个常见范数

1. L2范数 $p=2$，欧里几得范数 $L^2=x^{T}x$，机器学习中最常用
   推广至矩阵Frobenius norm $||A|{|}_F=\sqrt{{\sum }_{i,j}{A}_{i,j}^2}$
2. L1范数 $p=1$，$L^1=||\mathbf{x}|{|}_1={\sum }_i|x_i|$，也较常用
3. 最大范数 $||\mathbf{x}|{|}_{\infty }=ma{x}_i|x_i|$

正则化效果

特征值分解

定义:特征向量(eigenvector)