多元线性回归

一、多元线性回归方程

我们在初中就已经接触到了方程这个概念，只有一个自变量的方程称为一元线性方程，以此类推如果有两个或两个以上的自变量，那么这个方程就称为多元线性回归方程。其实，一种现象经常是与多个因素相关联的，由多个自变量的最优组合共同来预测或估计因变量，比只用一个自变量进行预测或估计更有效，更符合实际。因此多元线性回归比一元线性回归的实用意义更大。

为了方便计算我们一般简写为：Y=XW

二、方法

1、最小二乘法
我们希望求出的W是最接近线性方程的解的，我们将最接近定义为残差平方和最小，残差的公式和残差平方和的公式如下：

同样我们也可以利用最大似然原理推导出以上公式：误差等方差不相干假设，即每个样本的误差期望为0，每个样本的误差方差都为相同值假设为σ、误差密度函数为正态分布 e ~ N(0, σ^2）

二次函数是个凸函数，极值点就是最小点。只需要求导数=0解出W即可

二、梯度下降法<