多元线性回归

一、多元线性回归

• 所谓的多元线性回归就是指在回归分析中，如果有两个或两个以上的自变量，就称为多元回归。

二、多元线性回归模型

1.建立模型
以二元线性回归模型为例 ，二元线性回归模型如下：

类似的使用最小二乘法进行参数估计 ：

2.拟合优度指标
标准误差：对y值与模型估计值之间的离差的一种度量。其计算公式为：

3.置信范围
置信区间的公式为：置信区间=
其中， 是自由度为 的 统计量数值表中的数值, 是观察值的个数， 是包括因变量在内的变量的个数。

三、估值方法

1.普通最小二乘法
普通最小二乘法(Ordinary Least Square, OLS)通过最小化误差的平方和寻找最佳函数。通过矩阵运算求解系数矩阵：

2.广义最小二乘法
广义最小二乘法(Generalized Least Square)是普通最小二乘法的拓展，它允许在误差项存在异方差或自相关，或二者皆有时获得有效的系数估计值。

四、推导过程

五、关于矩阵的计算的程序

我之前写了一个矩阵计算的轮子，详情请参考这篇文章：
《python实现矩阵操作（自造轮子）》