机器学习笔记——第三章 线性代数回归

机器学习笔记（吴恩达老师）
第一章 引言
第二章 单变量线性回归(Linear Regression with One Variable)
第三章 线性代数回顾(Linear Algebra Review)

---

---

第三章 线性代数回归（Linear Algebra Review）

一、矩阵和向量

如图：左边是一个4x2的矩阵，右边是一个2x3的矩阵。（m为行，n为列，矩阵表示为m x n的矩阵）

矩阵的 维数 即行数×列数
矩阵元素（矩阵项）：Aij 指第 i 行第 j 列的元素。
向量是一种特殊的矩阵，向量一般都是列向量，如 为四维列向量（4×1）。
如下图左图为1索引向量，右图为0索引向量，取决于你用什么编程语言，一般我们用1索引向量。

二、加法和标量乘法

矩阵的加法：行列数相等的可以加

矩阵的乘法：矩阵的每个元素与另一个因数相乘
组合算法如下：

接下来讨论两个矩阵相乘。

三、矩阵向量乘法

矩阵和向量的乘法如图：

用第一个矩阵的每一行乘第二个矩阵的每一列，如上图，m x n 的矩阵乘以 n x 1 的向量，得到的是m x 1 的向量。举例如下：

四、矩阵乘法

m x n 矩阵乘以 n x o 矩阵，变成 m x o 矩阵。

五、矩阵乘法特征

矩阵的乘法不满足交换律： A × B ≠ B × A
矩阵的乘法满足结合律：A × (B × C) = (A × B) × C
单位矩阵：在矩阵的乘法中，有一种矩阵起着特殊的作用，如同数的乘法中的1,我们称这种矩阵为单位矩阵．它是个方阵，一般用 I 或者 E 表示，本讲义都用 I 代表单位矩阵，从左上角到右下角的对角线（称为主对角线）上的元素均为1以外全都为0。如：
对于单位矩阵，有 AI = IA = A

六、逆和转置

---

参考：http://www.ai-start.com/ml2014/html/week1.html#header-n399