贝叶斯线性回归（单输出）

本文主要依据Pattern Recognition and Machine Learing第三章的内容展开。

1线性模型

假设有一个 $D$ 维的输入 $\mathbf x$，和一个连续的目标输出 $t$，我们可以利用一组固定的基函数$\phi_i(\mathbf x),i=0,\ldots,M$的线性组合（组合系数为$w_0,\ldots,w_M$），得到一个线性回归模型：

$$t=\sum_{i=0}^{M}w_i\phi_i(\mathbf x)$$
其中， $\phi_0(\mathbf x)=1$, $w_0$为偏置项，则上式可以简记为：
$$t = y(\mathbf {x,w}) = \sum_{i=0}^{M} w_i \phi_i(\mathbf x) = \mathbf{w^\top \phi(x)}$$
其中 $\mathbf w = (w_0,\dots,w_{M})^\top$， $\mathbf \phi=(\phi_0,\dots,\phi_{M})^\top$。

当有$N$个$D$维的输入$\mathbf X=(\mathbf x_1,\ldots,\mathbf x_N)^\top$和对应的目标输出$\mathbf t=(t_1,\ldots,t_N)^\top$时，同理。

由此可见，虽然模型叫做贝叶斯线性回归模型，但它的线性是体现在参数 $\mathbf w$ 上。而这个模型的线性与否实际上取决于$\phi(\mathbf x)$，我们将其称为基函数。下面简要介绍线性基函数、多项式基函数和高斯基函数。

1.1线性基函数

在所有基函数中，最为简单的便是线性基函数，它是令：

$$y(\mathbf{x,w}) = w_0 + w_1x_1 + \cdots + w_Dx_D$$ 其中 $$\mathbf x = (x_1,\dots,x_D)^\top$$

1.2多项式基函数

在多项式基函数中，最简单的基函数是单变量$x$的一元多项式按照幂次大小进行组合，此时：

$$y(\mathbf x,\mathbf w)=w_0+w_1x^1+\dots+w_Mx^M$$
当输入变量为多维时，基函数会变得较为复杂，例如当 $\mathbf x=(x_1,x_2)$时：

$$y(\mathbf x,\mathbf w)=w_0+w_{11}x_1+w_{12}x_2+w_{21}x_1^2+w_{22}x_1x_2+w_{23}x_2^2+\cdots+w_{M1}x_1^M+\cdots$$
因此，通常情况下，我们使用多项式作为基函数时，会假定其输入变量 $\mathbf x$的维度 $D$和基函数个数 $M$均较小；或者 $\mathbf x$内各个特征 $x_i$之间相互独立，则上式中所有变量交叉项全为0，只存在 $x_i^j,i \in \{1,\ldots,D\},j \in \{1,\ldots,M\}$的项。

1.3高斯基函数

高斯基函数又称径向基函数RBF，形如：

ϕi(