回归分析（一）

变量间的统计关系

变量间的关系有时候密切相关，但是非确定性关系，原因可能是被研究问题的复杂性，有许多因素因为我们认识以及其他客观原因的局限性，没有包含在内，或则由于实验误差、测量误差以及种种偶然因素的影响，一些变量的取值带有一定的随机性。我们把变量间具有密切关联而又不能由某个或某些变量唯一确定另外一个变量的关系，称为变量间的统计关系或相关关系。

这种统计关系的规律性是统计学中研究的主要对象，现代统计学中关于统计关系的研究形成了两个分支，分别是回归分析和相关分析。

回归分析和相关分析

这两种分析进场相互结合和渗透，他们研究的侧重点和应用面不同。

• 回归分析中变量$y$称为因变量，处于被解释的特殊地位，相关分析中变量$y$和$x$处于平等地位。
• 相关分析中涉及的变量$x$和$y$全是随机变量，回归分析中因变量$y$是随机变量，自变量$x$可以是随机变量，也可以是非随机变量。通常的回归模型中总是假定$x$是非随机变量。
• 相关分析的研究主要是为了刻画两类变量间线性相关的密切程度，回归分析中不仅可以揭示自变量对因变量影响的大小，还可以由回归方程进行预测和控制。

回归分析是建立在对客观事物进行大量实验和观察的基础上，用来寻找隐藏在那些看上去是不确定的现象中的统计规律性的统计方法。回归分析研究的范围包括：

回归模型的一般形式

如果变量$x_1,x_2,...,x_p$与随机变量$y$之间存在着相关关系，通常意味着每当$x_1,x_2,...,x_p$确定后，$y$便有相应的概率分布与之对应。随机变量$y$与相关变量$x_1,x_2,...,x_p$之间的概率模型为：

$$y=f(x_1,x_2,...,x_p)+ϵ$$

其中随机变量$y$称为因变量，$x_1,x_2,...,x_p$称为自变量。在计量经济学中，也称因变量为内生变量，自变量为外生变量。$f(x_1,x_2,...,x_p)$为一般变量$x_1,...,x_p$的确定性关系，$ϵ$为随机误差。由于客观现象的复杂性，一种变量很难用有些个因素准确说明，随机误差项可以概括表示由于人们的认识以及其他客观原因的局限性而没有考虑的种种偶然因素。具体来说，随机误差项主要包括下列因素的影响：

• 由于人们认识的局限，或则时间、费用、数据质量等制约，未引入回归模型但又对回归被解释变量$y$有影响的因素
• 样本采集过程中变量观测值的观测误差
• 理论模型设定的误差
• 其他随机因素

上述的回归模型有两部分组成，一部分中确定性函数关系，有回归函数$f(x_1,x_2,...,x_p)$给出，另一部分是随机误差项$ϵ$.回归模型表达了相关关系既有联系又不确定的特定。

当回归函数采用线性函数，则称为线性回归模型。线性是非本质的，因为解释变量是非线性时，常可以通过变量的替换转化成线性的。

对线性回归模型通常研究的问题包括：

• 根据样本求出系数的估计
• 对回归方程和回归系数的种种假设进行检验
• 根据回归方程进行预测和控制

一般来说系数的估计量对应样本的一个统计量，统计量为样本的函数，并且不含有未知数，样本是与总体同分布的随机变量，因此统计量也是随机变量，统计量的分布称为抽样分布。