《神经网络与机器学习》笔记#6——第2章通过回归建立模型（2.1-2.3）

2.1 引言

作为函数逼近的一种特殊形式，回归的典型方案如下：

1.依赖变量：即响应，随机变量中我们特别关注的一个变量；

2.回归量：除依赖变量以外的随机变量，用于解释或预测响应的统计行为；

3.误差项：用于说明在对依赖程度公式化时的不确定性，也被称为期望误差或解释误差。

2.2 线性回归模型：初步考虑

未知随机环境下，通过一组输入探究这一环境，构成回归量：

环境的输出结果即响应d与回归量x之间的函数依赖关系可以参数化为： 

其中为一组固定但未知的参数，意味着环境是稳定的。附加项ε表示模型的期望误差，表明对环境的未知量。

 可写为：

(a)

w和回归量x的维数相同，该维数称为模型阶。

由于是随机环境，回归量x、响应d以及期望误差ε是相应的随机向量X、随机变量D以及随机变量E的样本值（单点实现），问题可以描述为：

给定回归量X和相应的响应D的联合统计量，估计未知的参数向量w。

 联合统计量指下面的统计参数集合：

回归量X的相关矩阵；

期望响应D的方差；

回归量X和期望响应D的互相关向量。

（假设X和D的均值都为0。）

2.3 参数向量的最大后验估计

对于这一线性回归模型，注意以下两点&