机器学习笔记2 【线性代数复习】

线性代数复习

1 矩阵和向量

• 向量可以看作特殊的的矩阵，n行1列

2 加法和标量乘法

• 只有纬度相同的矩阵才能进行矩阵加法运算，计算结果为对应位置元素的和
• 标量乘法是指矩阵乘以一个实数

3 矩阵向量乘法

• 下面的例子中，矩阵是$3\times 2$，向量是$1\times 1$，需要矩阵的列数和向量的行数相同才能进行乘法运算，结果中第$i$个元素应该为矩阵中第$i$行的每个元素分别乘上向量的每个元素的结果之和

$$\underset{3\times 2}{\left[\begin{array}{cc}l1& 3\\ 4& 0\\ 2& 1\end{array}\right]}\times \underset{2\times 1}{\left[\begin{array}{c}1\\ 5\end{array}\right]}=\left[\begin{array}{c}1\times 1+3\times 5\\ 4\times 1+0\times 5\\ 2\times 1+1\times 5\end{array}\right]=\underset{3\times 1}{\left[\begin{array}{c}16\\ 4\\ 7\end{array}\right]}$$

• 在之前提到的预测房屋售价的例子中，如果需要一次计算较多的房屋售价，可以采用矩阵向量乘法代替循环求解，例如假设$h(x)=-40+0.5x$，需要计算下面四个面积的房屋的售价
  • 2104，1416，1534，852
    就可以构造这样两个矩阵（向量是特殊的矩阵），进行乘法运算，结果就可以一次性得到所有的预测值，这里运算不仅写代码时更简洁，而且效率更高
    $$\left[\begin{array}{cc}l1& 2104\\ 1& 1416\\ 1& 1534\\ 1& 852\end{array}\right]\times \left[\begin{array}{c}-40\\ 0.5\end{array}\right]=\left[\begin{array}{c}1\times \left(-40\right)+2104\times 0.5\\ 1\times \left(-40\right)+1416\times 0.5\\ 1\times \left(-40\right)+1534\times 0.5\\ 1\times \left(-40\right)+852\times 0.5\end{array}\right]$$

4 矩阵乘法

• 矩阵乘法可以看成是一个矩阵与几个不向量的乘法，一个$m\times n$的矩阵和一个 $n\times p$的矩阵相乘所得的结果应该是一个$m\times p$的矩阵，在矩阵向量相乘中，$p=1$。
• 上一节提到的预测房屋售价的例子中，如果同时有不止一个假设函数，则可以采用矩阵乘法，一次得到多个房屋在多个假设函数中的结果，如下图所示
  [外链图片转存失败(img-CIAPFRFN-1563951277720)(.\images\2.png)]

5 矩阵乘法的特征

• 矩阵乘法不满足交换律，即$A\times B̸=B\times A$
• 矩阵乘法满足结合律，即$(A\times B)\times C=A\times (B\times C)$
• 单位矩阵，对角线上的元素都是1 的矩阵，任何矩阵乘以单位矩阵结果不变，即$A\times I=I\times A=A$。
  • 注意：若$A$$m\times n$的矩阵的话 第一个$I$是$n\times n$，第二个$I$是$m\times m$的，所以通常写单位矩阵$I$的时候，它的纬度已经暗含在了上下文中
  • 注意：$A\times I=I\times A=A$并不影响矩阵乘法不满足交换律，这是特例

6 矩阵的逆和矩阵的转置

6.1 矩阵的逆 inverse

• $m\times m$的矩阵，也就是方阵（square matrix），才可能有逆矩阵。
• 没有逆矩阵的矩阵成为奇异矩阵（singular matirx）或退化矩阵（degenerate matirx）
• 矩阵$A$的逆矩阵记做$A^{-1}$，并满足:
  • $AA^{-1} = A^{-1}A = I $

6.2 矩阵的转置 transpose

• 矩阵转置可以认为是矩阵$A$的第$i$行的元素，成为了矩阵$A^T$的第$j$列
• 如果矩阵$A$是一个$m\times n$的矩阵，且$B=A^T$，则：
  • $B$是一个$n\times m$的矩阵，且$B_{ij}=A_{ji}$