第二课

最小平方回归、最小二乘法
线性最小二乘的基本公式
考虑超定方程组（超定指未知数小于方程个数）：

其中m代表有m个等式，n代表有 n 个未知数 ，m>n ；将其进行向量化后为：

显然该方程组一般而言没有解，所以为了选取最合适的 让该等式”尽量成立”，引入残差平方和函数S
aExi^2+bExi = Exiyi
aExi +b*n=Eyi
(n表示点的个数）
（在统计学中，残差平方和函数可以看成n倍的均方误差MSE）
监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归。
伴随矩阵
A*=A11 A21 A31……….An1
A12 A22 A32……….An2
.
.
.
A1n A2n A3n……….Ann
逆矩阵A^-1 =1/|A| * A*
矩阵的运算
只有同型矩阵才能作加法运算
矩阵的乘法只有在左矩阵的列数和右矩阵的行数相等时，矩阵的乘法才有意义
一般 ，矩阵的乘法不满足交换律