神经网络学习笔记（七）：线性回归模型（上）

 先对回归模型中的概念做一下解释：

 1、对随机变量中的一个变量有着特别的兴趣；这一随机变量被称为依赖变量，或者响应(response)。（类似于函数概念中的应变量）

 2、剩下的随机变量称为独立变量，或者回归量(regressor)。它的作用是用来解释或者预测响应的统计行为。（类似于函数概念中的自变量）

 3、响应对回归量的依赖还包括一个附加的误差项，用来说明在对依赖程度公式化时候的不确定性；误差项称为期望误差或者解释误差。

  这样的模型称为回归模型。如果响应对回归量的依赖是通过线性函数定义的，则称为线性回归模型。线性回归模型参数化为：

                                                                                    (1.1)

                                                                                       (1.2)

                                                                            (1.3)

  该模型的信号流图为

            

  由于接下来介绍的是通过统计学的概念来推导回归模型的解，故这里先介绍模型的统计描述。

  回归量 、响应d以及期望误差ε是相应的随机向量X、随机变量D以及随机变量E的样本值。线性回归模型可以描述为：

  给定回归量X和相应的响应D的联合统计量，估计未知的参数向量。其中联合统计量是指，回归量X的相关矩阵，期望响应D的方差，回归量X和期望响应D的互相关量。假设X和D的均值为0。

参数向量的最大后验估计

  由概率理论，我们有如下两个公式：

                                                     (1.4)

                                                   (1.5)

  显然上述两个式子是等价的，联立可得：

                                                  (1.6)

  其中 在数学上通常用似然函数来表示，定义为：