![5735c2222eb405c0a560ba9c828ea23e.png](https://i-blog.csdnimg.cn/blog_migrate/2940d55fd5c90b7dfba893c1e4515985.jpeg)
一元线性回归模型
本文内容是《计量经济学(第四版)》第一章学习笔记。
![bfcb18da15dcf9a45f5883672f6f6893.png](https://i-blog.csdnimg.cn/blog_migrate/182505354668e4b8c0398db658d6a28f.jpeg)
1.概述
随机变量
- 非确定性变量
经济变量之间的关系
- 确定的函数关系
- 不确定的统计相关关系
相关分析
- 随机变量间的相关形式及相关程度
- 线性相关
- 非线性相关
回归分析
- 随机变量间的因果关系、依存关系
- 研究“被解释变量”关于“解释变量”的依赖关系的计算方法和理论,目的在于通过后者的已知或设定值,去估计和(或)预测前者的均值。
- 目的:通过样本回归函数尽可能准确地估计总体回归函数
随机干扰项
- u = Y - E(Y|X)
- 不可观测
- 为什么引入随机干扰项
- 代表未知的影响因素
- 代表残缺数据
- 代表众多细小影响因素
- 代表数据观测误差
- 代表模型设定误差
- 变量内在随机性
总体回归函数
- 给定解释变量X,被解释变量Y的总体条件期望函数
样本回归函数
- 总体的信息无法全部获得
2.基本假设
目的是为保证参数估计具有良好的性质
一、对模型设定的假设
- 假设1:回归模型是正确设定的
- 正确的变量
- 正确的函数形式
二、对解释变量的假设
- 假设2:解释变量X在所抽取的样本中具有变异性,随着样本容量的无限增加,X的样本方差趋于一个非零的有限常数
三、对随机干扰项的假设
- 假设3:给定解释变量X的任何值,随机干扰项的均值为0
- 表明u与X不存在任何形式的相关性
- 成立时:X为外生解释变量,或严格外生的
- 不成立:X为内生解释变量
- 假设4:随机干扰项u具有给定X任何值条件下的同方差性及序列不相关性
- U的方差不依赖于X的变化而变化,且总为常数delta^2
- 任意两个不同观测点的随机干扰项不相关
- 假设5:随机干扰项服从零均值、同方差的正态分布
3.参数估计
普通最小二乘法(OLS)
- 计算被解释变量的估计值与实际观测值之差的平方和
- 估计值、点估计
- 一个具体的参数估计结果
- 估计量
- 待估计的参数
- 当从模型总体随机抽取容量为n的样本观测值后,最合理的参数估计量应该是使得模型能最好地拟合样本数据
最大似然法(ML)
- 当从模型总体随机抽取容量为n的样本观测值后,最合理的参数估计量应该是使得从模型中抽取该样本观测值的概率最大
- 似然函数
- 对每个可能的正态总体估计取得容量为n的样本观测值的联合概率,该函数称为似然函数
- 通过使似然函数最大化以求得总体参数估计量的方法称为最大似然法
矩估计法
- 基本原理是用相应的样本矩来估计总体矩
- 矩条件就是随机干扰项的零均值性和同期不相关性,即E(u)=0;cov(X,u)=0,推导得到与最小二乘法一样的结果
最小二乘估计量的统计性质
- 衡量估计量“好坏”的主要准则
- 六方面考察
- 线性性
- 是否是另一个随机变量的线性函数
- 无偏性
- 均值或期望是否等于总体真实值
- 线性性
-
- 有效性
- 是否在所有线性无偏估计量中具有最小方差
- 渐进无偏性
- 样本容量趋于无穷大时,均值序列是否趋于总体真值
- 有效性
-
- 一致性
- 样本容量趋于无穷大时,是否依概率收敛于总体的真值
- 渐进有效性
- 样本容量趋于无穷大时,在所有的一致估计量中,是否具有最小的渐进方差
- 一致性
- 有限样本性质/小样本性质
- 线性性、无偏性、有效性
- 无限样本性质/大样本渐进性
- 渐进无偏性、一致性、渐进有效性
- 最佳线性无偏估计量
- 具有有限样本性质的估计量
- 高斯-马尔科夫定理
- 普通最小二乘估计量具有有限样本性质,是最佳线性无偏估计量
4. 统计检验
定义:在一次抽样中,参数的估计值与真实值的差异有多大?是否显著?
拟合优度检验
- 定义:模型对样本观测值的拟合程度
- 统计量
- 可以表征拟合程度的指标
- 离差
- 与样本回归线理论值之差
- 残差
- 观测值与回归拟合值之差
- TSS
- 总离差平方和
- 观测值总体离差大小
- total sum of squares
- ESS
- 回归平方和
- 由解释变量所解释的那部分离差的大小
- explained sum of squares
- RSS
- 残差平方和
- 观测值与估计值偏离的大小
- residual sum of squares
- 拟合优度
- ESS占TSS的比例
- 可决系数R^2统计量
- R^2 = ESS/TSS
变量的显著性检验
- 定义: 对被解释变量与解释变量之间的线性关系是否显著成立做出统计上严格的结论
- 假设检验
- 统计假设
- 根据实际问题的要求提出一个论断
- 基本思想
- 概率性质的反证法
- 统计假设
-
- 根据
- 小概率事件在一次实验中几乎不可能发生
- 步骤
- 原假设H0
- 构造一个事件,该事件在假设H0是正确的条件下是一个小概率事件。
- 随机抽取一组容量为n的样本观测值进行试验
- 如果事件发生了,说明原假设是错的
- 拒绝H0
- 根据
-
- 方法
- F检验
- t检验
- 绝对值大于2,说明结果比较好
-
- Z检验
- 方法
置信区间估计
- 定义:判断样本参数估计值在多大程度上可以“近似”地代替总体参数的真值
- 置信区间
- 选择一个概率a,一个正数b,使得随机区间(beta-b,beta+b)包含参数beta的真值的概率为1-a,这个区间就是置信区间
- 置信系数/置信度
- 1-a
- 显著性水平
- a
- 如何缩小置信区间
- 增大样本容量
- 提高模型的拟合优度