线性回归模型 —— 普通最小二乘法（OLS）推导与python实现

一般回归模型中

回归的核心任务就是要通过样本信息来估计总体回归函数

一元线性回归模型：

一元线性回归模型假设x是一维的，即只考虑一个因素对y的影响，模型为

                                                   y=+x+μ,  E (μ|x)= 0

其中, 为回归系数。

可以表示为当x = 0，时y的期望值；可以理解为x每增加一个单位，y平均增加个单位

案例：

假设家庭每月消费支出与每月可支配收入之间的关系为：

Spending=+*Income+μ

 

                                         表1.1 家庭消费支出与可支配收入的一个随机样本       单位： 元

X	800	1100	1400	1700	2000	2300	2600	2900	3200	3500
Y	638	935	1155	1254	1408	1650	1925	2068	2266	2530

使用OLS估计回归参数

样本回归模型可表示为：

其中，为回归参数的估计，为下的拟合值，称为残差。

OLS估计的思想是通过最小化残差来对回归系数进行估计，即：

                                                              

 推导过程：

python实现

不调用package：

def linear_OLS(x_arr,y_arr):
    x_avg= x_arr.mean()
    y_avg = y_arr.mean()
    s_xy = (x-x_avg)*(y-y_avg).T
    s_x = (x-x_avg)*(x-x_avg).T
    beta_1 = s_xy.sum()/s_x.sum()
    beta_0 = y_avg-beta_1*x_avg
    return beta_1,beta_0

x = np.array([800,1100,1400,1700,2000,2300,2600,2900,3200,3500])
y = np.array([638,935,1155,1254,1408,1650,1925,2068,2266,2530])

beta_1,beta_0 = linear_OLS(x,y)

print('beta_1:',beta_1,'beta_0:',beta_0)

result:
beta_1:0.67,beta_0:142

调用package：

import statsmodels.api as sm

x = np.array([800,1100,1400,1700,2000,2300,2600,2900,3200,3500])
y = np.array([638,935,1155,1254,1408,1650,1925,2068,2266,2530])

est = sm.OLS(y, sm.add_constant(x)).fit()

est.summary()

result：