概述
一共两个部分,第一,线性模型和最小二乘估计方法的概括。第二,
基于最小二乘估计方法,实现线性回归方程中回归参数的估计。并且和statsmodels中的方法进行对比。
1.线性模型和最小二乘方法
线性模型是指预测值是特征(feature)的线性组合(liner combination),数学表达式如下:
y i ^ = β 0 + β 1 x i 1 + . . . + β p x i p (1) \hat {y_i}= \beta_0 + \beta_1 x_{i1} + ... + \beta_p x_{ip} \tag{1} yi^=β0+β1xi1+...+βpxip(1)
y i = y ^ i + ϵ i (2) y_i = \hat y_i + \epsilon_i \tag{2} yi=y^i+ϵi(2)
i = 1 , 2 , . . . , n i=1,2,...,n i=1,2,...,n
其中:
y ^ \hat {y} y^是预测值(也叫因变量);
y y y是真实值;
β = ( β 1 , . . . , β p ) \beta = (\beta_1,..., \beta_p) β=(β1,...,