普通最小二乘法的推导证明
发表于4个月前(2015-11-04 22:22) 阅读(
153) | 评论(
0)
5人收藏此文章, 我要收藏
赞
1
前言
普通最小二乘法(ordinary least squares, OLS)是线性回归预测问题中一个很重要的概念,在 Introductory Econometrics A Modern Approach (Fourth Edition) 第2章 简单回归模型 中,花了很详细的篇幅对此作出介绍。应聘数据挖掘岗位,就有考到对普通最小二乘法的推导证明。最小二乘法十分有用,例如可以用来做推荐系统、资金流动预测等。
推导证明
(1) 公式推导
![](https://i-blog.csdnimg.cn/blog_migrate/fd6f808b3a790016b15f8deb2627d5fa.jpeg)
![](https://i-blog.csdnimg.cn/blog_migrate/28c6c222a2877b96a40a8315a0f38e03.jpeg)
(2) 求和性质
求和性质,具体可以参考Introductory Econometrics A Modern Approach (Fourth Edition) 一书(计量经济学导论,第4版,杰弗里·M·伍德里奇 著)的附录A。
![](http://static.oschina.net/uploads/space/2015/1104/215242_pv3S_1451225.jpg)
![](http://static.oschina.net/uploads/space/2015/1104/215242_RUWU_1451225.jpg)
(3) 一般形式
有了上述推导证明,普通最小二乘法一般形式可以写成(字母盖小帽表示估计值,具体参考应用概率统计):
![](http://static.oschina.net/uploads/space/2015/1104/215431_wEAC_1451225.png)
重要概念
接下来简单地介绍几个重要概念,并在下一章节给出最小二乘法的无偏估计。
记第i 次观测残差(residual)是yi 的实际值与其拟合值之差:
![](http://static.oschina.net/uploads/space/2015/1104/215906_vPtK_1451225.png)
![](http://static.oschina.net/uploads/space/2015/1104/220126_EKnl_1451225.png)
其中SST=SSE+SSR。
拟合优度,有时又称“判定系数”,回归的R2(R-squared),用来判断直线拟合效果:
![](http://static.oschina.net/uploads/space/2015/1104/220407_VtxR_1451225.png)
当R2 = 1时称为完美拟合,当R2 = 1时称为糟糕拟合,最理想的观测是,第i 次情况 残差u=0。
事实上,R2不因y 或x 的单位变化而变化。
零条件均值,指给定解释变量的任何值,误差的期望值为零。换言之,即 E(u|x)=0。
无偏估计
我们追求零条件均值,得到OLS 估计量的无偏估计:
![](https://i-blog.csdnimg.cn/blog_migrate/e4b858e82ca74af7b287fef82661fa83.png)
其中,
![](https://i-blog.csdnimg.cn/blog_migrate/4342678caa3af08969aa4cc6694948b8.png)
现在我们可以看到,β1 的估计量等于总体斜率β1 加上误差 { u1, u2, ..., un }的一个线性组合。
“线性”含义
线性回归问题中,“线性”的含义是指被估计参数β1 和β2 是线性相关的,而不关心解释变量与被解释变量以何种形式出现,例如y = kx + b,log(y) = kx + b,log(y) = klog(x) + b,etc. 下面列举一些常用的曲线方程:
1、双曲线 1/y = a + b/x
令y'=1/y,x'=1/x,则有y'=a+bx'
2、幂函数曲线y=axb
令y'=lny,x'=lnx,a'=lna,则有y'=a' +bx'
3、指数函数曲线y=aebx
令y'=lny,x'=x,a'=a,则有y'=a'+b x'
4、负指数函数曲线y=aeb/x(同上)
5、对数函数y=a+blnx
令y'=y,x'=lnx,则有y'=a+bx'
6、S型(Logistic,逻辑斯蒂回归)曲线y=K/(1+Ae-λx)
令y'=ln((K-y)/y),a=lnA,则有y'=a-λx
多重线性回归
多重回归研究的是变量y 与可控变量x1,x2,...,xk 之间的线性关系,假设
![](https://i-blog.csdnimg.cn/blog_migrate/04c102db7b75308bb80a09151c17d66f.png)
根据线性代数,则有
![](https://i-blog.csdnimg.cn/blog_migrate/c4b7cbd259c0597ac2a9a1e1c2e7f188.png)
![](http://static.oschina.net/uploads/space/2015/1107/214525_aZiQ_1451225.png)
![](https://i-blog.csdnimg.cn/blog_migrate/185bdd32a0b5c9ba250ec336bc892b67.png)
![](http://static.oschina.net/uploads/space/2015/1107/214525_kWen_1451225.png)
得到
![](https://i-blog.csdnimg.cn/blog_migrate/9ad5f592ec4a614b702d1fd37401878c.png)
与普通最小二乘法推导证明相似,可以得到β 的最小二乘估计
![](http://static.oschina.net/uploads/space/2015/1107/214734_0h4m_1451225.png)
此处不作证明,具体可参考《应用概率统计 张国权 著》第九章 回归分析。