矩阵
矩阵定义
- 由数字组成的矩形阵列,并写在方括号内,是二维数组的另一种说法。
- 通常用大写字母表示矩阵。
矩阵的维数
- 矩阵的行数 * 列数
矩阵举例
- 这个是 4×2 矩阵,即 4 行 2 列。
- R ( 4 × 2 ) R^{(4×2)} R(4×2):表示一个 4×2 的矩阵的集合。
- A i j A_{ij} Aij:第 i 行,第 j 列的元素。
向量
向量定义
- 向量是一种特殊的矩阵,是只有一列的矩阵。
- 通常用小写字母表示向量。
向量举例
- 向量是一种特殊的矩阵,讲义中的向量一般都是列向量:四维列向量(4×1)。
- R ( 4 ) R^{(4)} R(4):表示一个四维向量的集合。
- 引用向量元素
- y i y_i yi:向量y的第i个元素。
- 有两种方式表示向量的下标:如下图为 1 索引向量和 0 索引向量,左图为 1 索引向量,右图为 0 索引向量,一般用 1 索引向量比较常见,而对于许多机器学习的应用问题来说,0 索引向量为我们提供了一个更方便的符号表达,除非特别指定,默认使用 1 索引向量。
加法和标量乘法
矩阵的加法
- 只有相同行列数的矩阵才可以进行加法
- 两个矩阵的每一个元素都逐个相加
- 举例
标量乘法
- 矩阵和标量的乘法运算
- 标量代表一个数字或实数
- 举例
矩阵向量乘法
- m×n的矩阵乘以n×1的向量,得到的是m×1的向量。
- 矩阵的列数必须与向量的维数(行数)相等。
- 举例:
矩阵乘法
- m × n 矩阵乘以 n × o 矩阵,变成 m × o 矩阵
- 举例:矩阵 A × B
矩阵乘法特征
- 矩阵的乘法不满足交换律:A × B ≠ B × A
- 举例:可能改变矩阵维度
- 举例:可能改变矩阵维度
- 矩阵的乘法满足结合律:A × ( B × C ) = ( A × B ) × C
- 单位矩阵
- 定义:在矩阵的乘法中,有一种矩阵起着特殊的作用,如同数的乘法中的 1,我们称这种矩阵为单位矩阵。它是个方阵,一般用 I 或者 E 表示,从左上角到右下角的对角线(称为主对角线)上的元素均为 1 以外全都为 0。如:
- 定义:在矩阵的乘法中,有一种矩阵起着特殊的作用,如同数的乘法中的 1,我们称这种矩阵为单位矩阵。它是个方阵,一般用 I 或者 E 表示,从左上角到右下角的对角线(称为主对角线)上的元素均为 1 以外全都为 0。如:
- 本讲义都用I代表单位矩阵,对于单位矩阵有:
- A ⋅ I = I ⋅ A = A A\cdot I = I\cdot A = A A⋅I=I⋅A=A
- A ⋅ A − 1 = A − 1 ⋅ A = I A\cdot A^ {-1}= A^{-1}\cdot A = I A⋅A−1=A−1⋅A=I
逆和转置
矩阵的逆
- 定义:如矩阵 A A A 是一个 m × m 矩阵(方阵),如果有逆矩阵 A − 1 A^{-1} A−1,则: A ⋅ A − 1 = A − 1 ⋅ A = I A\cdot A^{−1} = A^{−1}\cdot A = I A⋅A−1=A−1⋅A=I
- 一般在 Octave 或者 Matlab 中进行计算矩阵的逆矩阵。
矩阵的转置
- 设 A A A 为 m × n 阶矩阵(即 m 行 n 列),第 i 行 j 列的元素是 a ( i , j ) a(i,j) a(i,j),即: A = a ( i , j ) A = a(i,j) A=a(i,j),定义 A A A 的转置为这样一个 n × m 阶矩阵 B B B,满足 B = a ( j , i ) B=a(j,i) B=a(j,i),即 b ( i , j ) = a ( j , i ) b(i,j)=a(j,i) b(i,j)=a(j,i)( B B B 的第 i 行第 j 列元素是 A A A 的第 j 行第 i 列元素),记 A T = B A^T=B AT=B。(有些书记为 A ′ = B A'=B A′=B)
- 举例:
- 矩阵的转置基本性质
( A ± B ) T = A T ± B T ( A ⋅ B ) T = B T ⋅ A T ( A T ) T = A ( K A ) T = K A T (A\pm B)^T=A^T\pm B^T(A\cdot B)^T=B^T\cdot A^T(A^T)^T=A(KA)^T=KA^T (A±B)T=AT±BT(A⋅B)T=BT⋅AT(AT)T=A(KA)T=KAT - Matlab 中矩阵转置:直接打一撇, x = y ′ x=y' x=y′