【机器学习基础】贝叶斯线性模型

本系列为《模式识别与机器学习》的读书笔记。

一，贝叶斯线性回归

1，参数分布

关于线性拟合的贝叶斯⽅法的讨论，⾸先引⼊模型参数 $\mathbf{w}$ 的先验概率分布。现在这个阶段，把噪声精度参数 $\beta$ 当做已知常数。⾸先，由公式(3.8)定义的似然函 数 $p(t|\mathbf{w})$ 是 $\mathbf{w}$ 的⼆次函数的指数形式，于是对应的共轭先验是⾼斯分布，形式为：

$$p(\mathbf{w})=\mathcal{N}(\mathbf{w}|{\mathbf{m}}_0,{\mathbf{S}}_0)\text{\hspace{1em}(3.30)}$$
均值为 ${\mathbf{m}}_0$ ，协⽅差为 ${\mathbf{S}}_0$ 。

由于共轭⾼斯先验分布的选择，后验分布也将是⾼斯分布。 我们可以对指数项进⾏配平⽅， 然后使⽤归⼀化的⾼斯分布的标准结果找到归⼀化系数，这样就计算出了后验分布的形式：
$$p(\mathbf{w}|\mathbf{t})=\mathcal{N}(\mathbf{w}|{\mathbf{m}}_N,{\mathbf{S}}_N)\text{\hspace{1em}(3.31)}$$
其中，
$$\begin{gathered} {\mathbf{m}}_N={\mathbf{S}}_N({\mathbf{S}}_0^{-1}{\mathbf{m}}_0+\beta {\mathbf{\Phi }}^T\mathbf{t}) \\ {\mathbf{S}}_N^{-1}={\mathbf{S}}_0^{-1}+\beta {\mathbf{\Phi }}^T\mathbf{\Phi } \end{gathered}$$
为了简化起见，考虑⾼斯先验的⼀个特定的形式，即考虑零均值各向同性⾼斯分布，这个分布由⼀个精度参数 $\alpha$ 控制，即：
$$p(\mathbf{w}|\alpha )=\mathcal{N}(\mathbf{w}|0,{\alpha }^{-1}\mathbf{I})\text{\hspace{1em}(3.32)}$$
对应的 $\mathbf{w}$ 后验概率分布由公式(3.31)给出，其中，
$$\begin{gathered} {\mathbf{m}}_N=\beta {\mathbf{S}}_N{\mathbf{\Phi }}^T\mathbf{t} \\ {\mathbf{S}}_N^{-1}=\alpha \mathbf{I}+\beta {\mathbf{\Phi }}^T\mathbf{\Phi } \end{gathered}$$
后验概率分布的对数由对数似然函数与先验的对数求和的⽅式得到。它是 $\mathbf{w}$ 的函数，形式为：
ln ⁡ p ( w ∣ t ) = − β 2 ∑ n = 1 N { t n − w T ϕ ( x n ) } 2 − α 2 w T w + 常 数 (3.33) \ln p(\boldsymbol{w}|\boldsymbol{t})=-\frac{\beta}{2}\sum_{n=1}^{N}\{t_n-\boldsymbol{w}^{T}\boldsymbol{\phi}(\boldsymbol{x}_{n})\}^{2}-\frac{\alpha}{2}\boldsymbol{w}^{T}\boldsymbol{w}+常数\tag{3.33} lnp(w∣t)=−2β​n=1∑N​{ tn​−wTϕ(xn​)}2−2α​wTw+常数(3.33)

2，预测分布

在实际应⽤中，我们通常感兴趣的不是 $\mathbf{w}$ 本⾝的值，⽽是对于新的 $\mathbf{x}$ 值预测出 $t$ 的值。这需要我们计算出预测分布（predictive distribution），定义为：
$$p(t|\mathbf{t},\alpha ,\beta )=\int p(t|\mathbf{w},\beta )p(\mathbf{w}|\mathbf{t},\alpha ,\beta )\mathrm{d}\mathbf{w}\text{\hspace{1em}(3.34)}$$
其中 $\mathbf{t}$ 是训练数据⽬标变量的值组成的向量。经综合分析，预测分布的形式可以进一步具体化为：
$$p(t|\mathbf{x},\mathbf{t},\alpha ,\beta )=\mathcal{N}(t|{\mathbf{m}}_N^T\mathbf{\varphi }(\mathbf{x}),{\sigma }_N^2(\mathbf{x}))\text{\hspace{1em}(3.35)}$$
其中，
$${\sigma }_N^2(\mathbf{x})=\frac{1}{\beta }+\mathbf{\varphi }(\mathbf{x}{)}^T{\mathbf{S}}_N\mathbf{\varphi }(\mathbf{x})$$
其中，式中第⼀项表⽰数据中的噪声，第⼆项反映了与参数 $\mathbf{w}$ 关联的不确定性。当额外的数据点被观测到的时候，后验概率分布会变窄。从⽽可以证明出 ${\sigma }_{N+1}^2(\mathbf{x})\le {\sigma }_N^2(\mathbf{x})$（Qazaz et al., 1997）。 在极限 $N\to \infty$ 的情况下， 式中第⼆项趋于零， 从⽽预测分布的⽅差只与参数 $\beta$ 控制的具有可加性的噪声有关。

在下图3.15～3.18中，我们调整⼀个由⾼斯基函数线性组合的模型，使其适应于不同规模的数据集，然后观察对应的后验概率分布。其中，绿⾊曲线对应着产⽣数据点的函数 $\sin (2\pi x)$（带有附加的⾼斯噪 声），⼤⼩为 $N=1,N=2,N=4$ 和 $N=25$ 的数据集在四幅图中⽤蓝⾊圆圈表⽰。对于每幅图，红⾊曲线是对应的⾼斯预测分布的均值，红⾊阴影区域是均值两侧的⼀个标准差范围的区域。注意，预测的不确定性依赖于 $x$，并且在数据点的邻域内最⼩。




为了更加深刻地认识对于不同的 $x$ 值的预测之间的协⽅差，我们可以从 $\mathbf{w}$ 的后验概率分布中抽取样本，然后画出对应的函数 $y(x,\mathbf{w})$ ，如图3.19～3.22所⽰。

3，等价核

考虑以下预测均值形式：
$$y(\mathbf{x},{\mathbf{m}}_N)={\mathbf{m}}_N^T\mathbf{\varphi }(\mathbf{x})=\beta \mathbf{\varphi }(\mathbf{x}{)}^T{\mathbf{S}}_N{\mathbf{\Phi }}^T\mathbf{t}=\sum _{n=1}^N\beta \mathbf{\varphi }(\mathbf{x}{)}^T{\mathbf{S}}_N\mathbf{\varphi }({\mathbf{x}}_n)t_n\text{\hspace{1em}(3.36)}$$
其中，
S N − 1 = S 0 − 1 +