一、模型假设
传统多元线性回归模型
最重要的假设的原理为:
1. 自变量和因变量之间存在多元线性关系,因变量y能够被x1,x2….x{k}完全地线性解释;2.不能被解释的部分则为纯粹的无法观测到的误差
其它假设主要为:
1.模型线性,设定正确; 2.无多重共线性; 3.无内生性; 4.随机误差项具有条件零均值、同方差、以及无自相关; 5.随机误差项正态分布
具体见另一篇文章:回归模型的基本假设
二、估计方法
目标:估计出多元回归模型的参数
注:下文皆为矩阵表述,X为自变量矩阵(n*k维),y为因变量向量(n*1维)
OLS(普通最小二乘估计)
思想:多元回归模型的参数应当能够使得, 因变量y的样本向量 在 由自变量X的样本所构成的线性空间G(x)的投影(即y’= xb)为向量y在 线性空间G(x)上的正交投影。直白一点说,就是要使得(y-y’)’(y-y’)最小化,从而能够使y的预测值与y的真实值之间的差距最小。
使用凸优化方法,可以求得参数的估计值为:b = (x’x)^(-1)x’y
最大似然估计
既然已经在假设中假设了随机误差项的分布为正态分布,