一般回归模型中
回归的核心任务就是要通过样本信息来估计总体回归函数
一元线性回归模型:
一元线性回归模型假设x是一维的,即只考虑一个因素对y的影响,模型为
y=+x+μ, E (μ|x)= 0
其中, 为回归系数。
可以表示为当x = 0,时y的期望值;可以理解为x每增加一个单位,y平均增加个单位
案例:
假设家庭每月消费支出与每月可支配收入之间的关系为:
Spending=+*Income+μ
表1.1 家庭消费支出与可支配收入的一个随机样本 单位: 元
X | 800 | 1100 | 1400 | 1700 | 2000 | 2300 | 2600 | 2900 | 3200 | 3500 |
Y | 638 | 935 | 1155 | 1254 | 1408 | 1650 | 1925 | 2068 | 2266 | 2530 |
使用OLS估计回归参数
样本回归模型可表示为:
其中,为回归参数的估计,为下的拟合值,称为残差。
OLS估计的思想是通过最小化残差来对回归系数进行估计,即:
推导过程:
python实现
不调用package:
def linear_OLS(x_arr,y_arr):
x_avg= x_arr.mean()
y_avg = y_arr.mean()
s_xy = (x-x_avg)*(y-y_avg).T
s_x = (x-x_avg)*(x-x_avg).T
beta_1 = s_xy.sum()/s_x.sum()
beta_0 = y_avg-beta_1*x_avg
return beta_1,beta_0
x = np.array([800,1100,1400,1700,2000,2300,2600,2900,3200,3500])
y = np.array([638,935,1155,1254,1408,1650,1925,2068,2266,2530])
beta_1,beta_0 = linear_OLS(x,y)
print('beta_1:',beta_1,'beta_0:',beta_0)
result:
beta_1:0.67,beta_0:142
调用package:
import statsmodels.api as sm
x = np.array([800,1100,1400,1700,2000,2300,2600,2900,3200,3500])
y = np.array([638,935,1155,1254,1408,1650,1925,2068,2266,2530])
est = sm.OLS(y, sm.add_constant(x)).fit()
est.summary()
result: