多元线性回归 ——模型、估计、检验与预测

一、模型假设

传统多元线性回归模型

最重要的假设的原理为:

1. 自变量和因变量之间存在多元线性关系,因变量y能够被x1,x2….x{k}完全地线性解释;2.不能被解释的部分则为纯粹的无法观测到的误差

其它假设主要为:

1.模型线性,设定正确; 2.无多重共线性; 3.无内生性; 4.随机误差项具有条件零均值、同方差、以及无自相关; 5.随机误差项正态分布

具体见另一篇文章:回归模型的基本假设

二、估计方法

目标:估计出多元回归模型的参数

注:下文皆为矩阵表述,X为自变量矩阵(n*k维),y为因变量向量(n*1维)

OLS(普通最小二乘估计)

思想:多元回归模型的参数应当能够使得, 因变量y的样本向量 在 由自变量X的样本所构成的线性空间G(x)的投影(即y’= xb)为向量y在 线性空间G(x)上的正交投影。直白一点说,就是要使得(y-y’)’(y-y’)最小化,从而能够使y的预测值与y的真实值之间的差距最小。

使用凸优化方法,可以求得参数的估计值为:b = (x’x)^(-1)x’y

最大似然估计

既然已经在假设中假设了随机误差项的分布为正态分布,

image

那么自变量y的分布也可以由线性模型推算出来(其分布的具体函数包括参数b在内)。

  • 3
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值