5.1线性回归

一、回归问题：

指的是，通过统计分析一组随机变量X₁，...，Xn与另外一组随机变量Y₁，...，Yn之间的关系，得到一个可靠的模型，使得对于给定的X={X₁，...，Xn}，可以利用直观模型对Y = {Y₁，...，Yn}进行预测。

（这里X₁，...，Xn被称为自变量，随机变量Y₁，...，Yn被称为因变量。）

1、在回归中我们有一些数据样本  ，通过对这些样本进行统计分析，获得一个预测模型 f (·)，使得对于测试数据x = {X₁，...，Xn}，可以得到一个较好的预测值：y = f (x)

2、回归问题在形式上与分类问题十分相似，但是在分类问题中预测值 y 是一个离散值，它代表着通过 x 所预测出来的类别；而在回归问题中，y是一个连续变量。

二、线性回归

线性回归模型是指采用线性组合形式的回归模型，在线性回归问题中，因变量和自变量之间是线性关系的。对于第 n 个因变量Xn，我们乘以权重系数Wn，取 y 为因变量的线性组合：

y = f (X) = W₁X₁ + ··· +WnXn + b

其中 b 为常数项。若W = （W₁，···，Wn），则上式可以写成向量形式：

y = f (X) = WᵀX + b

可以看到w和b决定了回归模型 f（·）的行为。由数据样本可知w和b有许多方法，例如最小二乘法、梯度下降法等。

1、最小二乘法求解线性回归中的参数

以下是最小二次方求解线性回归中参数的问题：

希望找到这样的w和b，使得对于训练数据中每一个样本点<x⁽ⁿ⁾，y⁽ⁿ⁾>，预测值 f（x⁽ⁿ⁾）与真实值 y⁽ⁿ⁾ 尽可能接近。

于是定义一种“接近”程度的度量方式，即误差函数。在这里我们采用均方误差（MSE）作为误差函数:

给定x，则 y 的分布服从如下高斯分布：

意味着在自变量x取某个确定值的时候，我们的数据样本点以回归模型预测的因变量y为中心、以σ²为方差呈高斯分布。

基于高斯分布的假设，我们得到条件概率 p（y|x）的对数似然函数：

这就是我们选择均方误差函数作为误差函数的概率解释的原因。

2、目标

最小化误差函数E，具体做法可以令E对于参数w和b的偏导数为0。

由于我们的问题变成了最小化均方误差，因此习惯上将这种通过解析方法直接求解参数的做法称为最小二乘法。

方便矩阵运算，我们将E表示成向量形式。令：

则E可以表示为：

E = （Y - Xwᵀ - b）ᵀ （Y - Xwᵀ - b）

由于b的表示较为烦琐，我们更改w的表示，将b视为常数1的权重，令：

w = （w₁，···，wn，b）

相应的，对X做如下更改：

则E可以表示为：

E = （Y - Xwᵀ ）ᵀ （Y - Xwᵀ )

对误差函数E求参数w的偏导数，我们得到：

令偏导为0.我们得到：

w = （XᵀX）⁻¹  XᵀY

因此对于测试向量x，根据线性回归模型预测的结果为：

y = x（（XᵀX）⁻¹ XᵀY）ᵀ