2020-1-24 深度学习笔记2 - 线性代数

第二章 线性代数

官网

线性代数是理解深度学习所必须掌握的基础数学学科之一

• 线性代数主要是面向连续数学，而非离散数学。很多计算机科学家很少接触它。

• 线性代数的几个数学概念

  • 标量（scalar）：一个标量就是一个单独的数，它不同于线性代数中研究的其他大部分对象（通常是多个数的数组）。我们用斜体表示标量。标量通常被赋予小写的变量名称。

  • 向量（vector）：一个向量是一列数。这些数是有序排列的。通过次序中的索引，我们可以确定每个单独的数。通常我们赋予向量粗体的小写变量名称。

    • 向量中的元素可以通过带脚标的斜体表示。向量x的第一个元素是x₁
    • 符号－表示集合的补集中的索引。比如x₋₁表示x中除x₁外的所有元素

  • 矩阵（matrix）：矩阵是一个二维数组，其中的每一个元素由两个索引（而非一个）所确定。我们通常会赋予矩阵粗体的大写变量名称，比如A。

    • 在表示矩阵中的元素时，通常以不加粗的斜体形式使用其名称，索引用逗号间隔。比如，$A_{1，1}$表示A左上的元素，$A_{m，n}$表示A右下的元素。
    • 通过用“:”表示水平坐标，以“i”表示垂直坐标i中的所有元素。比如，A_{i，:}表示A中垂直坐标i上的一横排元素。这也被称为A的第i行（row）。同样地，A_:，i表示A的第i列（column）。
    • 当需要明确表示矩阵中的元素时，我们将它们写在用方括号括起来的数组中。$$\left[\begin{array}{cc}{A}_{1,1}& A_{1,2}\\ A_{2,1}& A_{2,2}\end{array}\right]$$
    • $f(A{)}_{i,j}$表示函数f作用在A上输出的矩阵的第i行第j列元素。此时不必将矩阵的变量名称小写化。
    • 矩阵的形状一样，我们可以把两个矩阵相加。两个矩阵相加是指对应位置的元素相
      加，比如C=A﹢B，其中 $C_{i,j}=A_{i,j}﹢B_{i,j}$。
    • 标量和矩阵相乘，或是和矩阵相加时，我们只需将其与矩阵的每个元素相乘或相加，比
      如D=a·B﹢c，其中$D_{i,j}=a\cdot B_{i,j}﹢c$，a和c为标量，D和B为矩阵。
    • 矩阵和向量相加，产生另一个矩阵：C=A﹢b，其中$C_{i,j}=A_{i,j}﹢b_j$，表示向量b和矩阵A的每一行相加。

  • 张量（tensor）：在某些情况下，我们会讨论坐标超过两维的数组。一般一个数组中的元素分布在若干维坐标的规则网格中，我们称之为张量。

    • 张量中坐标为（i,j,k）的元素记作$A_{i,j,k}$。

  • 转置（transpose），矩阵的转置是以对角线为轴的镜像，这条从左上角到右下角的对角线被称为主对角线（main diagonal）。

    • 矩阵A的转置表示为A^T。
    • $(A^T{)}_{i,j}=A_{j,i}$
    • 向量可以看作只有一列的矩阵。向量的转置可以看作只有一行的矩阵。
    • 标量可以看作只有一个元素的矩阵。因此，标量的转置等于它本身。a=a^T

  • 矩阵乘法（乘积） （matrix product）。两个矩阵A和B的矩阵乘积是第三个矩阵C。

    • 矩阵A的列数必须和矩阵B的行数相等。如果矩阵A的形状是m×n，矩阵B的形状是n×p，那么矩阵C的形状是m×p。
    • 矩阵乘法C=AB，定义是$$C_{i,j}=\sum _k{A}_{i,k}{B}_{k,j}$$
    • 2个矩阵乘法不是指2个矩阵中对应元素的乘积。2个矩阵中对应元素的乘积称为元素对应乘积（element-wise product）或者Hadamard乘积（Hadamard product），记为$A⨀B$
    • 两个相同维数的向量x和y的点积（dot product）可看作矩阵乘积，X^TY。因此，可
      以把矩阵乘积C=AB中计算C_{i,j}的步骤看作A的第i行和B的第j列之间的点积。
    • 矩阵乘法运算性质
      • 分配律，A(B+C)=AB+AC
      • 结合律，A(BC)=(AB)C
      • 交换律
        • 不同于标量乘积，矩阵乘积并不满足交换律（AB=BA的情况并非总是满足）
        • 两个向量的点积满足交换律 。x^Ty=y^Tx
      • 矩阵乘积的转置， (AB)