python机器学习（四）线性代数回顾、多元线性回归、多项式回归、标准方程法求解、线性回归案例

回顾线性代数

矩阵

矩阵可以理解为二维数组的另一种表现形式。A矩阵为三行两列的矩阵，B矩阵为两行三列的矩阵，可以通过下标来获取矩阵的元素，下标默认都是从0开始的。$A_{ij}:$表示第$i$行，第$j$列的元素。

向量

向量是特殊的矩阵，只有1列的矩阵，C是4行1列的向量。

矩阵与标量运算

标量与矩阵里的每一个元素进行运算，也可以想象成利用广播机制，把标量看成与矩阵同形状且每个元素都为标量的矩阵，对应位置进行运算。

矩阵与标量之间的运算是将每个元素都与标量进行运算。

矩阵与向量运算

$n$行$m$列的矩阵乘以$m$行1列的向量，得到$n$行1列的向量。
例题：
比如房子的大小影响房价的高低，大小作为特征数据。
某特征数据：$\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]$，线性关系为：$h(x)=2x+1$，如何使用线性代数的知识表示$h(x)$与$x$之间的关系？
构建特征矩阵，添加系数全为1的1列，然后构建参数向量，1对应${\theta }_0$，2对应${\theta }_1$。x为特征数据，样本数据有$m$个，此时$m=3$，分别对应$x_1,x_2,x_3$，保证截距没有其他系数干扰

矩阵与矩阵运算

对应位置进行运算。矩阵与向量不能直接进行相加运算。

矩阵与矩阵之间按位运算，并且形状要保持一致，否则不可运算。
有$3\ast 2$的矩阵与$2\ast 3$的矩阵进行相乘运算，可以把后面的$2\ast 3$的矩阵拆成3个向量进行计算，得到的是$3\ast 3$的矩阵。

$n$行$m$列的矩阵乘以$m$行$n$列的矩阵，得到$n$行$n$列的矩阵。
例题：
某特征数据：$\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]$，线性关系为：$h(x)=2x+1$，$h(x)=3x+2$，如何使用线性代数的知识表示$h(x)$与$x$之间的关系？

有多个$h(x)$表现形式，把第一个线方程式中的1对应${\theta }_0$，2对应${\theta }_1$，第二个方程式中的2对应${\theta }_0^{\prime }$，3对应${\theta }_1^{\prime }$，多个方程式依次往后摆放。

单位矩阵

在自然数中，1乘以任何数等于任何数乘以1，等于任何数本身。单位矩阵对角线元素为1，其他元素全部为0，行列相同，也为方阵。
$I=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$，$A\ast I=I\ast A=A$
$m\ast m$单位矩阵乘以$m\ast n$的矩阵，都为$m\ast n$的矩阵，矩阵与单位矩阵相乘满足交换律，其他矩阵的计算并不满足交换律。

转置矩阵

把矩阵的行与列进行交换。