多元线性回归 ——模型、估计、检验与预测

一、模型假设

传统多元线性回归模型

最重要的假设的原理为：

1. 自变量和因变量之间存在多元线性关系，因变量y能够被x1,x2….x{k}完全地线性解释；2.不能被解释的部分则为纯粹的无法观测到的误差

其它假设主要为：

1.模型线性，设定正确； 2.无多重共线性； 3.无内生性； 4.随机误差项具有条件零均值、同方差、以及无自相关； 5.随机误差项正态分布

具体见另一篇文章：回归模型的基本假设

二、估计方法

目标：估计出多元回归模型的参数

注：下文皆为矩阵表述，X为自变量矩阵(n*k维)，y为因变量向量（n*1维）

OLS（普通最小二乘估计）

思想：多元回归模型的参数应当能够使得， 因变量y的样本向量 在 由自变量X的样本所构成的线性空间G（x）的投影（即y’= xb）为向量y在 线性空间G(x)上的正交投影。直白一点说，就是要使得(y-y’)’(y-y’)最小化，从而能够使y的预测值与y的真实值之间的差距最小。

使用凸优化方法，可以求得参数的估计值为：b = (x’x)^(-1)x’y

最大似然估计

既然已经在假设中假设了随机误差项的分布为正态分布，

那么自变量y的分布也可以由线性模型推算出来（其分布的具体函数包括参数b在内）。