统计学|线性回归模型总结

前言
本科期间已经系统的学习过线性回归模型,奈何本菜鸡记性太差,每次用到还要重新找资料。。。近期,由于研究需要,又重新把线性回归模型学了一遍,也有了更深的理解,借此机会,系统性的总结一遍,免得用的时候又到处找资料。

一元线性回归模型

模型及基本假设

对于具有线性关系的两个随机变量,可以用一个线性方程来表示它们之间的关系。描述因变量y如何依赖自变量x和误差项 ε \varepsilon ε的方程就称为回归模型。一元回归模型可表示为:
y = β 0 + β 1 x + ε y=\beta_{0}+\beta_{1}x+\varepsilon y=β0+β1x+ε
其中,误差项 ε \varepsilon ε包含遗漏的其他因素,变量的测量误差、回归函数的设定误差以及人类行为的内在随机性等。

线性回归模型的基本假设有:
(1) E ( ε ) = 0 E(\varepsilon)=0 E(ε)=0
(2) V a r ( ε i ) = V a r ( ε j ) = σ 2 Var(\varepsilon_{i})=Var(\varepsilon_{j})=\sigma^2 Var(εi)=Var(εj)=σ2
(3) C o v ( ε i , ε j ) = 0 Cov(\varepsilon_{i},\varepsilon_{j})=0 Cov(εi,εj)=0
(4) ε ∼ N ( 0 , σ 2 ) \varepsilon\sim N(0,\sigma^2) εN(0,σ2)

根据回归模型中的假定,有 E ( y ) = β 0 + β 1 x E(y)=\beta_{0}+\beta_{1}x E(y)=β0+β1x,即y的期望值是x的线性函数,称此式为一元线性回归方程。

对于以上线性回归模型,考虑的统计推断问题为:
(1)对于未知参数 β 0 , β 1 , σ 2 \beta_{0},\beta_{1},\sigma^2 β0,β1,σ2进行估计;
(2)对关于 β 0 , β 1 \beta_{0},\beta_{1} β0,β1的某种假设,以及y服从线性模型的假设进行检验;
(3)对y进行预测和控制。

最小二乘法

普通最小二乘法(Ordiany Least Squares, OLS)就是选择使得残差平方和最小的 β 0 、 β 1 \beta_{0}、\beta_{1} β0β1
m i n ∑ i = 1 n e i 2 = ∑ i = 1 n ( y i − β 0 − β 1 x i ) 2 min \sum_{i=1}^{n}e_{i}^2=\sum_{i=1}^{n}(y_{i}-\beta_{0}-\beta_{1}x_{i})^2 mini=1nei2=i=1n(yiβ0β1xi)2
分别对 β 0 、 β 1 \beta_{0}、\beta_{1} β0β1求偏导,并联立方程组,求得:
β 0 ^ = ∑ i = 1 n ( x i − x ˉ ) ( y i − y ˉ ) ∑ i = 1 n ( x i − x ˉ ) 2 ; β 1 ^ = y ˉ − β 0 ^ x ˉ \hat{\beta_{0}}=\frac{\sum_{i=1}^{n}(x_{i}-\bar{x})(y_{i}-\bar{y})}{\sum_{i=1}^{n}(x_{i}-\bar{x})^2}; \hat{\beta_{1}}=\bar{y}-\hat{\beta_{0}}\bar{x} β0^=i=1n(xixˉ)2i=1n(xixˉ)(yiyˉ)β1^=yˉβ0^xˉ

OLS估计量的性质

无偏性,一致性,最小方差性
β 0 ^ 、 β 1 ^ \hat{\beta_{0}}、\hat{\beta_{1}} β0^β1^ β 0 、 β 1 \beta_{0}、\beta_{1} β0β1的最佳线性无偏估计量(BLUE);

残差项的正交性

1.残差向量与所有解释变量( 1 ′ , x ′ 1',x' 1,x)正交,即
1 ′ e = 0 , x ′ e = 0 1'e=0, x'e=0 1e=

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值