数模笔记8-回归分析

回归分析

一元线性回归

数学模型

$$\begin{gathered} 一般地，称由y={\beta }_0+{\beta }_{1}x+\epsilon 确定的模型为一元线性回归模型 \\ 记为\{\begin{array}{l}y={\beta }_0+{\beta }_{1}x+\epsilon \\ E\epsilon =0，D\epsilon ={\sigma }^2\end{array} \\ 固定的未知参数{\beta }_0、{\beta }_1称为回归系数，自变量x也称为回归变量 \\ y={\beta }_0+{\beta }_{1}x，称为y对x的回归直线方程 \end{gathered}$$

一元线性回归分析的主要任务是：

1. 用试验值（样本值）对β0、β1和σ作点估计；
2. 对回归系数β0、β1作假设检验；
3. 在x=x0处对y作预测，对y作区间估计。

普通最小二乘法

给定一组样本观测值（Xi, Yi），i=1,2,…n，假如模型参数估计量已经求得，并且是最合理的参数估计量，那么样本回归函数应该能够最好地拟合样本数据，即样本回归线上的点与真实观测点的“总体误差”应该尽可能地小。

普通最小二乘法给出的判断标准是：二者之差的平方和最小，即
$$Q=\sum _{i=1}^n(Y_i-Y_i^{\prime }{)}^2=\sum _{i=1}^n(Y_i-({\beta }_0^{\prime }+{\beta }_1^{\prime }{X}_i){)}^2—>最小$$
换句话说，也就是要使所有样本点到样本回归线的竖直距离的平方和最小。
$$\begin{gathered} 由于Q=\sum _1^n(Y_i-Y_i^{\prime }{)}^2=\sum _1^n(Y_i-({\beta }_0^{\prime }+{\beta }_1^{\prime }{X}_i){)}^2是{\beta }_0^{\prime }、{\beta }_1^{\prime }的二次函数，并且非负，所以其极小值总是存在的。 \\ 根据极值存在的条件，当Q对{\beta }_0^{\prime }、{\beta }_1^{\prime }的一阶偏导数为0时，Q达到最小。即 \\ \{\begin{array}{l}\frac{\partial Q}{\partial {\beta }_0^{\prime }}=0\\ \frac{\partial Q}{\partial {\beta }_1^{\prime }}=0\end{array}=>\{\begin{array}{l}\sum (Y_i-{\beta }_0^{\prime }-{\beta }_1^{\prime }{X}_i)=0\\ \sum (Y_i-{\beta }_0^{\prime }-{\beta }_1^{\prime }{X}_i)X_i=0\end{array}=>\{\begin{array}{l}\sum Y_i=n{\beta }_0^{\prime }+{\beta }_1^{\prime }\sum X_i\\ \sum Y_i{X}_i={\beta }_0^{\prime }\sum X_i+{\beta }_1^{\prime }\sum X_i^2\end{array} \\ 解得：\{\begin{array}{l}{\beta }_1^{\prime }=\frac{n\sum Y_i{X}_i-\sum Y_i\sum X_i}{n\sum X_i^2-(\sum X_i{)}^2}\\ {\beta }_0^{\prime }=\overline{Y}-{\beta }_1^{\prime }\overline{X}\end{array} \\ 由于{\beta }_0^{\prime }、{\beta }_1^{\prime }的估计结果是从最小二乘原理得到的，故称为最小二乘估计量 \end{gathered}$$
普通最小二乘参数估计量的离差形式
$$\begin{gathered} 记\{\begin{array}{l}\overline{X}=\frac{1}{n}\sum X_i\\ \overline{Y}=\frac{1}{n}\sum Y_i\\ x_i=X_i-\overline{X}\\ y_i=Y_i-\overline{Y}\end{array} \\ 则参数估计量可以写成：\{\begin{array}{l}{\beta }_1^{\prime }=\frac{\sum x_i{y}_i}{\sum x_i^2}\\ {\beta }_0^{\prime }=\overline{Y}-{\beta }_1^{\prime }\overline{X}\end{array} \end{gathered}$$
注：在计量经济学中，往往以大写字母表示原始数据（观测值），而以小写字母表示对均值的离差

随机误差项方差的估计量
$$\begin{gathered} 记e_i=Y_i-Y_i^{\prime }为第i个样本观测点的残差，即被解释变量的估计值与观测值之差，则随机误差项方差的估计量为： \\ {\sigma }_{\mu }^{\prime 2}=\frac{\sum e_i^2}{n-2} \end{gathered}$$

检验、预测与控制

• 回归方程的显著性检验

  对回归方程的显著性检验，归结为对假设H0：β1=0；H1：β1≠0进行检验

  假设H0：β1=0被拒绝，则回归显著，认为y与x存在线性关系，所求的线性回归方程有意义；否则回归不显著，y与x 的关系不能用一元线性回归模型来描述，所得的回归方程也无意义.

  1. F检验法
     $$\begin{gathered} 当H_0成立时，F=\frac{U}{Q_e/(n-2)}\sim F(1,n-2) \\ 其中U=\sum _{i=1}^n(y_i^{\prime }-\overline{y}{)}^2(回归平方和) \\ 故F>F_{1-\alpha }(1,n-2)，拒绝H_0，否则就接受H_0 \end{gathered}$$

  2. t检验法

     适合样本较小的检验，n<30，总体方差未知
     $$\begin{gathered} 当H_0成立时，T=\frac{\sqrt{L_{xx}}{\beta }_1^{\prime }}{{\sigma }_e^{\prime }}\sim t(n-2) \\ 故|T|>t_{1-\frac{\alpha }{2}}(n-2)，拒绝H_0，否则就接受H_0 \\ 其中L_{xx}=\sum _{i=1}^n(x_i-\overline{x}{)}^2=\sum _{i=1}^n{x}_i^2-n{\overline{x}}^2 \end{gathered}$$

  3. r检验法
     $$\begin{gathered} 记r=\frac{{\sum }_{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2{\sum }_{i=1}^n(y_i-\overline{y}{)}^2} \\ 当|r|>r_{1-\alpha }时，拒绝H_0;否则就接受H_0. \\ 其中r_{1-\alpha }=\sqrt{\frac{1}{1+(n-2)/F_{1-\alpha }(1,n-2)}} \end{gathered}$$

• 回归系数的置信区间
  $$\begin{gathered} {\beta }_0和{\beta }_1置信水平为1-\alpha 的置信区间分别为 \\ [{\beta }_0^{\prime }-t_{1-\frac{\alpha }{2}}(n-2){\sigma }_e^{\prime }\sqrt{\frac{1}{n}+\frac{{\overline{x}}^2}{L_{xx}}},{\beta }_0^{\prime }+t_{1-\frac{\alpha }{2}}(n-2){\sigma }_e^{\prime }\sqrt{\frac{1}{n}+\frac{{\overline{x}}^2}{L_{xx}}}] \\ 和 \\ [{\beta }_1^{\prime }-t_{1-\frac{\alpha }{2}}(n-2){\sigma }_e^{\prime }/\sqrt{L_{xx}},{\beta }_1^{\prime }+t_{1-\frac{\alpha }{2}}(n-2){\sigma }_e^{\prime }/\sqrt{L_{xx}}] \\ {\sigma }^2置信水平为1-\alpha 的置信区间为 \\ [\frac{Q_e}{x_{1-\frac{\alpha }{2}}^2}(n-2),\frac{Q_e}{x_{\frac{\alpha }{2}}^2}(n-2)] \end{gathered}$$

• 预测与控制

  1. 预测
     $$\begin{gathered} 用y_0的回归值y_0^{\prime }={\beta }_0^{\prime }+{\beta }_1^{\prime }{x}_0作为y_0的预测值 \\ {y}_0的置信水平为1-\alpha 的预测区间为[y_0^{\prime }-\delta (x_0),y_0^{\prime }+\delta (x_0)] \\ 其中\delta (x_0)={\sigma }_e^{\prime }{t}_{1-\frac{\alpha }{2}}(n-2)\sqrt{1+\frac{1}{n}+\frac{(x_0-\overline{x}{)}^2}{L_{xx}}} \\ 特别，当n很大且x_0在\overline{x}附近取值时，y的置信水平为1-\alpha 的预测区间近似为： \\ [y^{\prime }-{\delta }_e^{\prime }{u}_{1-\frac{\alpha }{2}},y^{\prime }+{\delta }_e^{\prime }{u}_{1-\frac{\alpha }{2}}] \end{gathered}$$

  2. 控制
     $$\begin{gathered} 要求：y={\beta }_0+{\beta }_{1}x+\epsilon 的值以1-\alpha 的概率落在指定区间(y_1,y_2) \\ 只要控制x满足以下两个不等式 \\ {y}^{\prime }-\delta (x)>=y_1,y^{\prime }+\delta (x)<=y_2 \\ 要求y_2-y_1>=2\delta (x) \\ 若y^{\prime }-\delta (x)=y_1,y^{\prime }+\delta (x)=y_2分别有解x_1和x_2，即y^{\prime }-\delta (x_1)=y_1,y^{\prime }+\delta (x_2)=y_2 \\ 则(x_1,x_2)就是所求的x的控制区间 \end{gathered}$$

可线性化的一元非线性回归（曲线回归）

配曲线的一般方法：

先对两个变量x和y作n次试验观察得(xi,yi),i=1,2,…,n 画出散点图，根据散点图确定须配曲线的类型.然后由n对试验数据确定每一类曲线的未知参数 a 和 b.采用的方法是通过变量代换把非线性回归化成线性回归，即采用非线性回归线性化的方法

通常选择的六类曲线：
$$\begin{gathered} (1)双曲线\frac{1}{y}=a+\frac{b}{x} \\ (2)幂函数曲线y=a{x}^b,其中x>0,a>0 \\ (3)指数曲线y=a{e}^{bx},其中参数a>0 \\ (4)倒指数曲线y=a{e}^{\frac{b}{x}},其中a>0 \\ (5)对数曲线y=a+blogx,x>0 \\ (6)S型曲线y=\frac{1}{a+b{e}^{-x}} \end{gathered}$$

多元线性回归

数学模型及定义

$$\begin{gathered} 一般称\{\begin{array}{l}Y=X\beta +\epsilon \\ E(\epsilon )=0,COV(\epsilon ,\epsilon )={\sigma }^2{I}_n\end{array}为高斯-马尔可夫线性模型（k元线性回归模型），并简记为(Y,X\beta ,{\sigma }^2{I}_n) \\ Y=\left[\begin{array}{c}{y}_1\\ y_2\\ ...\\ y_n\end{array}\right],X=\left[\begin{array}{ccccc}1& x_{11}& x_{12}& ...& x_{1k}\\ 1& x_{21}& x_{22}& ...& x_{2k}\\ ...& ...& ...& ...& ...\\ 1& x_{n1}& x_{n2}& ...& x_{nk}\end{array}\right],\beta =\left[\begin{array}{c}{\beta }_0\\ {\beta }_1\\ ...\\ {\beta }_k\end{array}\right],\epsilon =\left[\begin{array}{c}{\epsilon }_1\\ {\epsilon }_2\\ ...\\ {\epsilon }_n\end{array}\right] \\ y={\beta }_0+{\beta }_1{x}_1+...+{\beta }_k{x}_k称为回归平面方程 \end{gathered}$$

线性模型考虑的主要问题是：

1. 用试验值（样本值）对未知参数β和σ²作点估计和假设检验，从而建立y与x1,x2,…,xk之间的数量关系；
2. 在x1=x01,x2=x02,…,xk=x0k,处对y的值作预测与控制，即对y作区间估计

模型参数估计

对β和σ²作估计
$$\begin{gathered} 用最小二乘法求{\beta }_0,...,{\beta }_k的估计量：作离差平方和 \\ Q=\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_1-...-{\beta }_k{x}_k{)}^2 \\ 选择{\beta }_0,...,{\beta }_k使Q达到最小解得估计值{\beta }^{\prime }=(X^{T}X{)}^{-1}(X^{T}Y) \\ 代入回归平面方程得：y={\beta }_0^{\prime }+{\beta }_1^{\prime }{x}_1+...+{\beta }_k^{\prime }{x}_k \\ 称为经验回归平面方程，{\beta }_i^{\prime }称为经验回归系数 \end{gathered}$$
多项式回归
$$\begin{gathered} 设变量X、Y的回归模型为Y={\beta }_0+{\beta }_{1}x+{\beta }_2{x}^2+...+{\beta }_p{x}^p+\epsilon \\ 其中p是已知的，{\beta }_i(i=1,2,...,p)是未知参数，\epsilon 服从正态分布N(0,{\sigma }^2) \\ Y={\beta }_0+{\beta }_{1}x+{\beta }_2{x}^2+...+{\beta }_p{x}^p称为回归多项式 \\ 上面的回归模型称为多项式回归 \\ 令x_i=x^i,i=1,2,...,k多项式回归模型变为多元线性回归模型 \end{gathered}$$

多元线性回归中的检验与预测

• 线性模型和回归系数的检验

  假设H0：β0=β1=…=βk=0

  1. F检验法
     $$\begin{gathered} 当H_0成立时，F=\frac{U/k}{Q_e/(n-k-1)}\sim F(1,n-k-1) \\ 其中U=\sum _{i=1}^n(y_i^{\prime }-\overline{y}{)}^2(回归平方和)Q_e=\sum _{i=1}^n(y_i-y_i^{\prime }{)}^2(残差平方和) \\ 故F>F_{1-\alpha }(1,n-k-1)，拒绝H_0，否则就接受H_0 \end{gathered}$$

  2. r检验法
     $$\begin{gathered} 定义R=\sqrt{\frac{U}{L_{yy}}}=\sqrt{\frac{U}{U+Q_e}}为y与x_1,x_2,...x_k的多元相关系数或复相关系数 \\ 由于F=\frac{n-k-1}{k}\frac{R^2}{1-R^2},故用F和用R检验是等效的 \end{gathered}$$

• 预测

  1. 点预测

     求出回归方程，对于给定自变量的值，用其来预测称为点预测

  2. 区间预测
     $$\begin{gathered} y的1-\alpha 的预测（置信）区间为(y_1^{\prime },y_2^{\prime }),其中 \\ \{\begin{array}{l}{y}_1^{\prime }=y^{\prime }-{\sigma }_e^{\prime }\sqrt{1+{\sum }_{i=0}^k{\sum }_{j=0}^k{c}_{ij}{x}_i{x}_j}{t}_{1-\alpha /2}(n-k-1)\\ y_2^{\prime }=y^{\prime }-{\sigma }_e^{\prime }\sqrt{1+{\sum }_{i=0}^k{\sum }_{j=0}^k{c}_{ij}{x}_i{x}_j}{t}_{1-\alpha /2}(n-k-1)\end{array} \\ {\sigma }_e^{\prime }=\sqrt{\frac{Q_e}{n-k-1}}C=L^{-1}=(c_{ij}),L=X^{T}X \end{gathered}$$

逐步回归分析

“最优”的回归方程就是包含所有对Y有影响的变量, 而不包含对Y影响不显著的变量回归方程.

选择“最优”的回归方程有以下几种方法：

1. 从所有可能的因子（变量）组合的回归方程中选择最优者；
2. 从包含全部变量的回归方程中逐次剔除不显著因子；
3. 从一个变量开始，把变量逐个引入方程；
4. “有进有出”的逐步回归分析.

以第四种方法，即逐步回归分析法在筛选变量方面较为理想.

逐步回归分析法的思想：

• 从一个自变量开始，视自变量Y对作用的显著程度，从大到小地依次逐个引入回归方程.
• 当引入的自变量由于后面变量的引入而变得不显著时，要将其剔除掉.
• 引入一个自变量或从回归方程中剔除一个自变量，为逐步回归的一步.
• 对于每一步都要进行Y值检验，以确保每次引入新的显著性变量前回归方程中只包含对Y作用显著的变量.
• 这个过程反复进行，直至既无不显著的变量从回归方程中剔除，又无显著变量可引入回归方程时为止.

统计工具箱中的回归分析命令

• 多元线性回归

  1. 确定回归系数的点估计值：b=regress(Y,X)

  2. 求回归系数的点估计和区间估计、并检验回归模型：[b, bint,r,rint,stats]=regress(Y,X,alpha)

     bint：回归系数的区间估计

     r：残差

     rint：置信区间

     stats：用于检验回归模型的统计量，有三个数值：相关系数r²、F值、与F对应的概率p

     ​ 相关系数r²越接近1，说明回归方程越显著；F>F1-α（k，n-k-1）时拒绝H0，F越大，说明回归方程越显著；与F对应的 概率p<α时拒绝H0，回归模型成立

     alpha：显著性水平（缺省时为0.05）

  3. 画出残差及其置信区间：rcoplot（r ，rint）

  4. 预测及作图：z=b(1)+b(2)* plot(x,Y,‘k+’,x,z,‘r’)

• 多项式回归

  • 一元多项式回归
    $$y=a_1{x}^m+a_2{x}^{m-1}+...+a_{m}x+a_{m+1}$$

    1. 回归：

       （1）确定多项式系数的命令：[p，S]=polyfit（x，y，m）

       ​ p是多项式的系数；S是一个矩阵，用来估计预测误差

       （2）一元多项式回归命令：polytool（x，y，m）

    2. 预测和预测误差估计：

       （1）Y=polyval（p，x）求polyfit所得的回归多项式在x处的预测值Y；

       （2）[Y，DELTA]=polyconf（p，x，S，alpha）求polyfit所得的回归多项式在x处的预测值Y及预测值的显著性为1-alpha的置信区间Y±DELTA；alpha缺省时为0.5

  • 多元二项式回归

    命令：rstool （x ，y ，’model’，alpha）

    ‘model’：
    $$\begin{gathered} linear(线性)：y={\beta }_0+{\beta }_1{x}_1+...+{\beta }_m{x}_m \\ purequadratic(纯二次)：y={\beta }_0+{\beta }_1{x}_1+...+{\beta }_m{x}_m+\sum _{j=1}^n{\beta }_{jj}{x}_j^2 \\ interaction(交叉)：y={\beta }_0+{\beta }_1{x}_1+...+{\beta }_m{x}_m+\sum _{1<=j\ne k<=m}{\beta }_{jk}{x}_j{x}_k \\ quadratic(完全二次)：y={\beta }_0+{\beta }_1{x}_1+...+{\beta }_m{x}_m+\sum _{1<=j,k<=m}{\beta }_{jk}{x}_j{x}_k \end{gathered}$$

• 非线性回归

  1. 回归：

     （1）确定回归系数的命令：[beta ，r ，J]=nlinfit （x,y,’model’,beta0）

     beta：估计出的回归系数

     J：Jacobi矩阵

     ’model‘：事先用M文件定义的非线性函数

     beta0：回归系数的初值

     （2） 非线性回归命令： nlintool（x，y，’model’, beta0 ， alpha）

  2. 预测和预测误差估计：

     [Y，DELTA]=nlpredci（’model’, x，beta，r，J）求 nlinfit 或 lintool 所得的回归函数在x处的预测值Y及预测值的显著性水平为 1-alpha 的置信区间 Y±DELTA

• 逐步回归

  逐步回归的命令是：stepwise （x ，y ，inmodel ，alpha ）

  inmodel：矩阵的列数的指标，给出初始模型中包括的子集（缺省时设定为全部自变量）

  运行stepwise命令时产生三个图形窗口：Stepwise Plot，Stepwise Table，Stepwise History.

  在Stepwise Plot窗口，显示出各项的回归系数及其置信区间.

  Stepwise Table 窗口中列出了一个统计表，包括回归系数及其置信区间，以及模型的统计量剩余标准差 （RMSE ）、相关系数（R-square）、F值、与F对应的概率P.