线性回归模型

一、线性回归模型

1.基本形式

2.参数估计（OLS）

也可使用最大似然估计和矩估计等方法估计参数。如果误差满足零均值、同方差且互不相关，由高斯-马尔可夫定理，最小二乘估计量是具有最小方差的线性无偏估计量(BLUE)，具有线性性、无偏性、有效性。

3.统计检验

注：参数方法是基于已知总体分布函数进行假设检验。非参数方法不假定特定的总体概率分布，对总体分布假设是非常稳健的，因为对所有分布都同样有效。

非参数检验统计量如计数统计量、秩统计量、符号秩统计量。非参数密度估计如直方图、核密度估计、K近邻估计。非参数回归主要有：以核回归分析、局部多项式回归分析、近邻回归分析、稳健回归分析为代表的非参数局部回归分析；以光滑样条回归分析、B样条回归分析为代表的非参数样条回归分析；以正交级数光滑回归分析、Fourier级数光滑回归分析、Wavelet光滑回归分析为代表的非参数正交回归分析；以多元局部回归、薄片样条、可加模型、投影寻踪、回归树、张量积为代表的处理高维的非参数回归分析。

1）拟合优度检验（可决系数与调整后的可决系数）

TSS为总离差平方和，ESS为回归平方和，RSS为残差平方和

2）方程总体线性显著性检验(F)

3）变量的显著性检验(t)

4.放宽基本假定的模型

2SLS：先分离出内生变量的外生部分，再使用外生部分进行回归

序列相关补充

时间序列的内容

二、可转化为线性回归模型的非线性回归模型

1.对数线性回归模型

2.logistic回归

实际上是一种分类

可通过极大似然法估计参数（略）

3.多项式回归

注：U 型关系能够推出解释变量的二次项系数显著，但是解释变量的二次项系数显著不能推出 U 型关系。需要分别回归，见Aghion P, Bloom N, Blundell R, et al. Competition and innovation: An inverted-U relationship[J]. The quarterly journal of economics, 2005, 120(2): 701-728.和Stata：如何正确检验U型关系的存在

4.虚拟变量回归

注意多重共线性问题。

5.Fisher判别分析

三、非线性回归模型

1.建模步骤