回归分析
在统计建模中,回归分析( Regression analysis ) 是用来刻画变量之间的统计关系的一种统计技术。当一个变量( 因变量 dependent variable )受另外一些变量( 自变量 independent variables or predictors )的强烈影响时,适宜用回归的方法。例如,”回归”的思想和方法最早由英国著名的统计学家F. Galton 和他的学生 K. Pearson 提出。他们在研究父母身高与其子女身高的遗传问题时,以每对夫妇的平均身高作为自变量 x, 而取他们的一个成年孩子的身高作为 y, 共观察了1,078对夫妇,建立了回归方程 y=33.73+0.516x, 从此产生了回归分析的方法。
回归模型
回归模型的一般形式
设因变量 y , 自变量向量
其中, ε 为随机误差,它表示除了 x 外的其它随机干扰因素。正是因为 ε 的存在,给定 x 的值,不能唯一确定 y , 称这种变量关系为统计关系。随机变量
线性回归
线性回归( Linear regression ), 指的是 y 与
其中的参数 β0,β1,…,βp 称为回归系数。特别地, p=1 , 即一个自变量时,称模型为一元线性回归。
假设有 n 次观测数据
记 y=(y1,y2,…,yn)′ , β=(β0,β1,…,βp)′ ,
ε=(ϵ1,ϵ2,…,ϵp)′ ,
则观测数据的线性回归模型可以表示为