多元线性回归方程的建立

建立多元线性回归方程，实际上是对多元线性模型（2-2-4）进行估计，寻求估计式（2-2-3）的过程。与一元线性回归分析相同，其基本思想是根据最小二乘原理，求解 使全部观测值 与回归值 的残差平方和达到最小值。由于残差平方和

          （2-2-5）

    是 的非负二次式，所以它的最小值一定存在。

    根据极值原理，当Q取得极值时， 应满足

    由（2-2-5）式，即满足

                    （2-2-6）

    (2-2-6）式称为正规方程组。它可以化为以下形式

     （2-2-7）

    如果用A表示上述方程组的系数矩阵可以看出A是对称矩阵。则有

                   （2-2-8）

 

 式中X是多元线性回归模型中数据的结构矩阵， 是结构矩阵X的转置矩阵。

 (2-2-7)式右端常数项也可用矩阵D来表示

    即

           

    因此(2-2-7)式可写成

Ab=D           （2-2-10）

    或

            （2-2-11）

如果A满秩（即A的行列式  ）那么A的逆矩阵A^-1存在，则由(2-10)式和(2-11)式得 的最小二乘估计为

            （2-2-12）

  也就是多元线性回归方程的回归系数。

  为了计算方便往往并不先求  ，再求b，而是通过解线性方程组(2-2-7)来求b。(2-2-7)是一个有p+1个未知量的线性方程组，它的第一个方程可化为

            （2-2-13）

    式中

            （2-2-14）

    将（2-2-13）式代入（2-2-7）式中的其余各方程，得

            （2-2-15）

    其中

            （2-2-16）

    将方程组（2-2-15）式用矩阵表示，则有

Lb=F           （2-2-17）

    其中

  

    于是

b=L^-1F           （2-2-18）

  因此求解多元线性回归方程的系数可由（2-2-16）式先求出L，然后将其代回（2-2-17）式中求解。求b时，可用克莱姆法则求解，也可通过高斯变换求解。如果把b直接代入（2-2-18）式，由于要先求出L的逆矩阵，因而相对复杂一些。

  例2-2-1 表2-2-1为某地区土壤内含植物可给态磷(y)与土壤内所含无机磷浓度(x₁)、土壤内溶于K₂CO₃溶液并受溴化物水解的有机磷浓度(x₂)以及土壤内溶于K₂CO₃溶液但不溶于溴化物的有机磷(x₃)的观察数据。求y对x_1, x_2, x₃的线性回归方程  。

表2-2-1 土壤含磷情况观察数据

    计算如下：

    由(2-2-16)式

  

  

 代入(2-2-15)式得

         （2-2-19）

    若用克莱姆法则解上述方程组，则其解为

                （2-2-20）

    其中

    计算得

b₁=1.7848，b₂=-0.0834，b₃=0.1611

     回归方程为

  应用克莱姆法则求解线性方程组计算量偏大，下面介绍更实用的方法——高斯消去法和消去变换。