课时3 线性代数回顾(Linear Algebra Review)

矩阵

矩阵定义

• 由数字组成的矩形阵列，并写在方括号内，是二维数组的另一种说法。
• 通常用大写字母表示矩阵。

矩阵的维数

• 矩阵的行数 * 列数

矩阵举例

• 这个是 4×2 矩阵，即 4 行 2 列。
• $R^{(4\times 2)}$：表示一个 4×2 的矩阵的集合。
• $A_{ij}$：第 i 行，第 j 列的元素。

向量

向量定义

• 向量是一种特殊的矩阵,是只有一列的矩阵。
• 通常用小写字母表示向量。

向量举例

• 向量是一种特殊的矩阵，讲义中的向量一般都是列向量：四维列向量（4×1）。
  
• $R^{(4)}$：表示一个四维向量的集合。
• 引用向量元素
  • $y_i$：向量y的第i个元素。
• 有两种方式表示向量的下标：如下图为 1 索引向量和 0 索引向量，左图为 1 索引向量，右图为 0 索引向量，一般用 1 索引向量比较常见，而对于许多机器学习的应用问题来说，0 索引向量为我们提供了一个更方便的符号表达，除非特别指定，默认使用 1 索引向量。
  

加法和标量乘法

矩阵的加法

• 只有相同行列数的矩阵才可以进行加法
• 两个矩阵的每一个元素都逐个相加
• 举例
  

标量乘法

• 矩阵和标量的乘法运算
• 标量代表一个数字或实数
• 举例
  

矩阵向量乘法

• m×n的矩阵乘以n×1的向量，得到的是m×1的向量。
• 矩阵的列数必须与向量的维数（行数）相等。
• 举例：
  
  

矩阵乘法

• m × n 矩阵乘以 n × o 矩阵，变成 m × o 矩阵
• 举例：矩阵 A × B
  

矩阵乘法特征

• 矩阵的乘法不满足交换律：A × B ≠ B × A
  • 举例：可能改变矩阵维度
    
• 矩阵的乘法满足结合律：A × ( B × C ) = ( A × B ) × C
• 单位矩阵
  • 定义：在矩阵的乘法中，有一种矩阵起着特殊的作用，如同数的乘法中的 1，我们称这种矩阵为单位矩阵。它是个方阵，一般用 I 或者 E 表示，从左上角到右下角的对角线（称为主对角线）上的元素均为 1 以外全都为 0。如：
    
• 本讲义都用I代表单位矩阵，对于单位矩阵有：
  • $A\cdot I=I\cdot A=A$
  • $A\cdot A^{-1}=A^{-1}\cdot A=I$

逆和转置

矩阵的逆

• 定义：如矩阵 $A$ 是一个 m × m 矩阵（方阵），如果有逆矩阵$A^{-1}$，则：$A\cdot A^{-1}=A^{-1}\cdot A=I$
• 一般在 Octave 或者 Matlab 中进行计算矩阵的逆矩阵。

矩阵的转置

• 设 $A$ 为 m × n 阶矩阵（即 m 行 n 列），第 i 行 j 列的元素是 $a(i,j)$，即：$A=a(i,j)$，定义 $A$ 的转置为这样一个 n × m 阶矩阵 $B$，满足 $B=a(j,i)$，即 $b(i,j)=a(j,i)$（$B$ 的第 i 行第 j 列元素是 $A$ 的第 j 行第 i 列元素），记 $A^T=B$。(有些书记为 $A^{\prime }=B$）
• 举例：
  
• 矩阵的转置基本性质
  $(A\pm B{)}^T=A^T\pm B^T(A\cdot B{)}^T=B^T\cdot A^T(A^T{)}^T=A(KA{)}^T=K{A}^T$
• Matlab 中矩阵转置：直接打一撇，$x=y^{\prime }$