终于进入回归了regression!
回归就是探究因变量和自变量的相关关系
因变量,就是y,又被称为被解释变量,回归子,相应变量
自变量,就是x,又被称为解释变量,回归元,控制变量
根据变量个数可以将回归分为简单回归(双变量回归模型)和复回归(多变量回归模型)
根据回归函数形式可以分为,线性回归和非线性回归
=================
- 简单回归,我们先定义简单回归函数形式
Y=β0+β1X+u
其中 β0,β1是参数 ,而 u 是误差
误差项是一个大头:
我们现有如下假设才能做回归,
1.误差项
E(u)=0
就是说 u 对Y没有影响,
2.误差项与自变量X无关即
E(u|x)=E(u)=0
以上两点假设说明了误差项 u 和X和Y均独立无关,即保证了:
然后我们定义样本值 yi :
yi=y^i+u^i=拟合值+残差
拟合值 y^i=β^0+β^1x
所以就推出了两种估计方法:最小二乘法和矩估
1、最小二乘法 OLS估计
这个就是利用残差 u^i 的平方和最小,残差平方和最小就说明了该参数最符合样本分布,误差最小
然后我们把残差平方和加总,并对 β0 和 β1 求偏导,做出其最小值的解,即偏导数为0
具体做的话就是先将残差表示成:
u^i=yi−β^0−β^1xi
然后残差平方和就是
∑i=1nu^2i
之后我们令其两个偏导数为零,做最小值点:
⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪