PRML学习总结（3）——Linear Models for Regression

3.1 Linear Basis Function Models

最简单的线性回归模型为$$y(\mathbf{x},\mathbf{w})=w_0+w_1{x}_1+\dots +w_D{x}_D$$我们可以稍微把模型复杂度提升些，利用基函数${\varphi }_j(\mathrm{x})$$$y(\mathbf{x},\mathbf{w})=w_0+\sum _{j=1}^{M-1}{w}_j{\varphi }_j(\mathbf{x})$$令${\varphi }_0(\mathbf{x})=1$，则$$y(\mathbf{x},\mathbf{w})=\sum _{j=0}^{M-1}{w}_j{\varphi }_j(\mathbf{x})={\mathbf{w}}^{\mathrm{T}}\mathbf{\varphi }(\mathbf{x})$$其中$\mathbf{w}={\left(w_0,\dots ,w_{M-1}\right)}^{\mathrm{T}}$，$\varphi ={\left({\varphi }_0,\dots ,{\varphi }_{M-1}\right)}^{\mathrm{T}}$。在许多模式识别的实际应⽤中，我们会对原始的数据变量进⾏某种固定形式的预处理或者特征抽取。利用非线性的$\varphi (\mathbf{x})$可以让模型具有非线性，但这样的模型还是称为线性回归模型，因为对于需要优化的参数仍然是线性的。在第一章中采用的是多项式拟合，即${\varphi }_j(x)=x^j$。
高斯基函数：$${\varphi }_j(x)=\exp \left\{-\frac{{\left(x-{\mu }_j\right)}^2}{2s^2}\right\}$$其中，${\mu }_j$控制基函数在输入空间中的位置，参数$s$控制基函数的空间大小。
sigmoid基函数：$${\varphi }_j(x)=\sigma \left(\frac{x-{\mu }_j}{s}\right)$$其中$\sigma (a)=\frac{1}{1+\exp (-a)}$。会存在很多不同的基函数，包括利用傅里叶级数，这些都不是研究的重点。

3.1.1 Maximum likelihood and least squares

之前建模为$$t=y(\mathbf{x},\mathbf{w})+ϵ$$其中$ϵ$代表0均值精度为$\beta$的高斯分布，则$$p(t|\mathbf{x},\mathbf{w},\beta )=\mathcal{N}\left(t|y(\mathbf{x},\mathbf{w}),{\beta }^{-1}\right)$$回忆⼀下，如果我们假设⼀个平⽅损失函数，那么对于$\mathbf{x}$的⼀个新值，最优的预测由⽬标变量的条件均值给出。$$\mathbb{E}[t|\mathbf{x}]=\int tp(t|\mathbf{x})\mathrm{d}t=y(\mathbf{x},\mathbf{w})$$
现在考虑一个数据集 X = { x 1 , … , x N } \mathbf { X } = \left\{ \mathbf { x } _ { 1 } , \dots , \mathbf { x } _ { N } \right\} X={x1​,…,xN​}以及其目标值为$t_1,\dots ,t_N$，则$$p(\mathbf{t}|\mathbf{X},\mathbf{w},\beta )=\prod _{n=1}^N\mathcal{N}\left(t_n|{\mathbf{w}}^{\mathrm{T}}\mathbf{\varphi }\left({\mathbf{x}}_n\right),{\beta }^{-1}\right)$$求其最大似然估计$${\mathbf{w}}_{\mathrm{M}\mathrm{L}}={\left({\mathbf{\Phi }}^{\mathrm{T}}\mathbf{\Phi }\right)}^{-1}{\mathbf{\Phi }}^{\mathrm{T}}\mathbf{t}$$其中$$\Phi =\left(\begin{array}{cccc}{\varphi }_0\left({\mathbf{x}}_1\right)& {\varphi }_1\left({\mathbf{x}}_1\right)& \cdots & {\varphi }_{M-1}\left({\mathbf{x}}_1\right)\\ {\varphi }_0\left({\mathbf{x}}_2\right)& {\varphi }_1\left({\mathbf{x}}_2\right)& \cdots & {\varphi }_{M-1}\left({\mathbf{x}}_2\right)\\ ⋮& ⋮& \ddots & ⋮\\ {\varphi }_0\left({\mathbf{x}}_N\right)& {\varphi }_1\left({\mathbf{x}}_N\right)& \cdots & {\varphi }_{M-1}\left({\mathbf{x}}_N\right)\end{array}\right)$$
下面我们可以更加深刻地认识偏置参数$w_0$，显式地写出该参数$$E_D(\mathbf{w})=\frac{1}{2}\sum _{n=1}^N{\left\{t_n-w_0-\sum _{j=1}^{M-1}{w}_j{\varphi }_j\left({\mathbf{x}}_n\right)\right\}}^2$$得$$w_0=\overline{t}-\sum _{j=1}^{M-1}{w}_j{\overline{\varphi }}_j$$其中$$\overline{t}=\frac{1}{N}\sum _{n=1}^N{t}_n,\varphi \}=\frac{1}{N}\sum _{n=1}^N{\varphi }_j\left({\mathbf{x}}_n\right)$$说明偏置$w_0$补偿了⽬标值的平均值（在训练集上的）与基函数的值的平均值的加权求和之间的差。
同样可以对$\beta$进行最大似然估计$$\frac{1}{{\beta }_{ML}}=\frac{1}{N}\sum _{n=1}^N{\left\{t_n-{\mathbf{w}}_{ML}^T\mathbf{\varphi }\left({\mathbf{x}}_n\right)\right\}}^2$$因此我们看到噪声精度的倒数由⽬标值在回归函数周围的残留⽅差（residual variance）给出。

3.1.2 Geometry of least squares

3.1.3 Sequential learning

最⼤似然解（3.15）的求解过程涉及到⼀次处理整个数据集。这种批处理技术对于⼤规模数据集来说计算量相当⼤。正如我们在第1章讨论的那样，如果数据集充分⼤，那么使⽤顺序算法（也被称为在线算法）可能更有价值。顺序算法中，每次只考虑⼀个数据点，模型的参数在每观测到⼀个数据点之后进⾏更新。顺序学习也适⽤于实时的应⽤。在实时应⽤中，数据观测以⼀个连续的流的⽅式持续到达，我们必须在观测到所有数据之前就做出预测。$${\mathbf{w}}^{(\tau +1)}={\mathbf{w}}^{(\tau )}-\eta \nabla E_n$$具体地，对于平方误差函数$${\mathbf{w}}^{(\tau +1)}={\mathbf{w}}^{(\tau )}+\eta \left(t_n-{\mathbf{w}}^{(\tau )\mathrm{T}}{\mathbf{\varphi }}_n\right){\mathbf{\varphi }}_n$$这个称为LMS算法！

3.1.4 Regularized least squares

$$E_D(\mathbf{w})+\lambda E_W(\mathbf{w})$$引入正则可以很好地控制过拟合！$$E_W(\mathbf{w})=\frac{1}{2}{\mathbf{w}}^{\mathrm{T}}\mathbf{w}$$$$E_D(\mathbf{w})=\frac{1}{2}\sum _{n=1}^N{\left\{t_n-{\mathbf{w}}^{\mathrm{T}}\mathbf{\varphi }\left({\mathbf{x}}_n\right)\right\}}^2$$采用以上形式的损失函数，可得$$\mathbf{w}={\left(\lambda \mathbf{I}+{\mathbf{\Phi }}^{\mathrm{T}}\mathbf{\Phi }\right)}^{-1}{\mathbf{\Phi }}^{\mathrm{T}}\mathbf{t}$$更一般的正则如下$$\frac{1}{2}\sum _{n=1}^N{\left\{t_n-{\mathbf{w}}^{\mathrm{T}}\mathbf{\varphi }\left({\mathbf{x}}_n\right)\right\}}^2+\frac{\lambda }{2}\sum _{j=1}^M{\left|w_j\right|}^q$$

3.1.5 Multiple outputs

之前讨论的都是一维输出的回归模型，当存在$K$个维度的输出时，可以对输出的每个维度单独考虑为一个回归模型，引入不同的基函数。但是常见的是用同一个基函数来建模。$$\mathbf{y}(\mathbf{x},\mathbf{w})={\mathbf{W}}^T\mathbf{\varphi }(\mathbf{x})$$其中$\mathbf{y}$是一个$K$维的列向量，$\mathbf{W}$为$M\times K$的参数矩阵$$p(\mathbf{t}|\mathbf{x},\mathbf{W},\beta )=\mathcal{N}\left(\mathbf{t}\left|{\mathbf{W}}^T\mathbf{\varphi }(\mathbf{x}),\right|{\beta }^{-1}\mathbf{I}\right)$$最后可得最大似然估计$${\mathbf{W}}_{ML}={\left({\mathbf{\Phi }}^T\mathbf{\Phi }\right)}^{-1}{\mathbf{\Phi }}^T\mathbf{T}$$其中，$\mathbf{T}$为$N\times K$的观测矩阵，有${\mathbf{t}}_1,\dots ,{\mathbf{t}}_N$组成。
当考虑任意的噪声协方差矩阵，任意也会得到相同的结果，因为$W$仅仅与均值部分相关，与协方差矩阵无关！所以也可以划分为$K$个独立的回归问题！

3.2 The Bias-Variance Decomposition

⽬前为⽌，我们对于回归的线性模型的讨论中，我们假定了基函数的形式和数量都是固定的。正如我们在第1章中看到的那样，如果使⽤有限规模的数据集来训练复杂的模型，那么使⽤最⼤似然⽅法，或者等价地，使⽤最⼩平⽅⽅法，会导致严重的过拟合问题。然⽽，通过限制基函数的数量来避免过拟合问题有⼀个负作⽤，即限制了模型描述数据中有趣且重要的规律的灵活性。虽然引⼊正则化项可以控制具有多个参数的模型的过拟合问题，但是这就产⽣了⼀个问题：如何确定正则化系数$\lambda$的合适的值。同时关于权值$w$和正则化系数$\lambda$来最⼩化正则化的误差函数显然不是⼀个正确的⽅法，因为这样做会使得$\lambda =0$，从⽽产⽣⾮正则化的解。
正如我们在之前的章节中看到的那样，过拟合现象确实是最⼤似然⽅法的⼀个不好的性质。但是当我们在使⽤贝叶斯⽅法对参数进⾏求和或者积分时，过拟合现象不会出现。本章中，我们会稍微深⼊地从贝叶斯观点讨论模型的复杂度。但是，在进⾏这样的讨论之前，从频率学家的观点考虑⼀下模型的复杂度问题是很有指导意义的。这种频率学家的观点被称为偏置-⽅差折中（bias-variance trade-off）。虽然我们将在线性基函数模型中介绍这个概念，因为这样介绍可以使⽤简单的例⼦来说明⼀些基本的思想，但是实际上这种讨论有着更加普遍的适⽤性。
在第一章中，当平方损失函数时，最优的预测为$$h(\mathbf{x})=\mathbb{E}[t|\mathbf{x}]=\int tp(t|\mathbf{x})\mathrm{d}t$$可以进一步写成 E [ L ] = ∫ { y ( x ) − h ( x ) } 2 p ( x ) d x + ∬ { h ( x ) − t } 2 p ( x , t ) d x d t \mathbb { E } [ L ] = \int \{ y ( \boldsymbol { x } ) - h ( \boldsymbol { x } ) \} ^ { 2 } p ( \boldsymbol { x } ) \mathrm { d } \boldsymbol { x } + \iint \{ h ( \boldsymbol { x } ) - t \} ^ { 2 } p ( \boldsymbol { x } , t ) \mathrm { d } \boldsymbol { x } \mathrm { d } t E[L]=∫{y(x)−h(x)}2p(x)dx+∬{h(x)−t}2p(x,t)dxdt上式的第二部分为固有的噪声，而第一部分则为优化的目标，如果我们有无限多的数据，那么可以为任意精度得到$h(x)$，从而得到$y(x)$的最优解。但在实际中，我们的数据不可能有无限多，因此不能够精确地得知回归函数$h(x)$。
如果我们使⽤由参数向量$w$控制的函数$y(x;w)$对$h(x)$建模，那么从贝叶斯的观点来看，我们模型的不确定性是通过$w$的后验概率分布来表⽰的。但是，频率学家的⽅法涉及到根据数据集$D$对$w$进⾏点估计，然后试着通过下⾯的思想实验来表⽰估计的不确定性。假设我们有许多数据集，每个数据集的⼤⼩为$N$，并且每个数据集都独⽴地从分布$p(t;x)$中抽取。对于任意给定的数据集$D$，我们可以运⾏我们的学习算法，得到⼀个预测函数$y(x;D)$。不同的数据集会给出不同的函数，从⽽给出不同的平⽅损失的值。这样，特定的学习算法的表现就可以通过取各个数据集上的表现的平均值来进⾏评估。那么对于某个数据集$D$来说 { y ( x ; D ) − E D [ y ( x ; D ) ] + E D [ y ( x ; D ) ] − h ( x ) } 2 = { y ( x ; D ) − E D [ y ( x ; D ) ] } 2 + { E D [ y ( x ; D ) ] − h ( x ) } 2 + 2 { y ( x ; D ) − E D [ y ( x ; D ) ] } { E D [ y ( x ; D ) ] − h ( x ) } \begin{aligned} \left\{ y ( \mathrm { x } ; \mathcal { D } ) - \mathbb { E } _ { \mathcal { D } } [ y ( \mathrm { x } ; \mathcal { D } ) ] + \mathbb { E } _ { \mathcal { D } } [ y ( \mathrm { x } ; \mathcal { D } ) ] - h ( \mathrm { x } ) \right\} ^ { 2 } \\ = & \left\{ y ( \mathrm { x } ; \mathcal { D } ) - \mathbb { E } _ { \mathcal { D } } [ y ( \mathrm { x } ; \mathcal { D } ) ] \right\} ^ { 2 } + \left\{ \mathbb { E } _ { \mathcal { D } } [ y ( \mathrm { x } ; \mathcal { D } ) ] - h ( \mathrm { x } ) \right\} ^ { 2 } \\ & + 2 \left\{ y ( \mathrm { x } ; \mathcal { D } ) - \mathbb { E } _ { \mathcal { D } } [ y ( \mathrm { x } ; \mathcal { D } ) ] \right\} \left\{ \mathbb { E } _ { \mathcal { D } } [ y ( \mathrm { x } ; \mathcal { D } ) ] - h ( \mathrm { x } ) \right\} \end{aligned} {y(x;D)−ED​[y(x;D)]+ED​[y(x;D)]−h(x)}2=​{y(x;D)−ED​[y(x;D)]}2+{ED​[y(x;D)]−h(x)}2+2{y(x;D)−ED​[y(x;D)]}{ED​[y(x;D)]−h(x)}​则 E D [ { y ( x ; D ) − h ( x ) } 2 ] = { E D [ y ( x ; D ) ] − h ( x ) } 2 ⎵ (  bias  ) 2 + E D [ { y ( x ; D ) − E D [ y ( x ; D ) ] } 2 ] ⎵  variance  \begin{array} { l } { \mathbb { E } _ { \mathcal { D } } \left[ \{ y ( \mathbf { x } ; \mathcal { D } ) - h ( \mathbf { x } ) \} ^ { 2 } \right] } \\ { \quad = \underbrace { \left\{ \mathbb { E } _ { \mathcal { D } } [ y ( \mathbf { x } ; \mathcal { D } ) ] - h ( \mathbf { x } ) \right\} ^ { 2 } } _ { ( \text { bias } ) ^ { 2 } } + \underbrace { \mathbb { E } _ { \mathcal { D } } \left[ \left\{ y ( \mathbf { x } ; \mathcal { D } ) - \mathbb { E } _ { \mathcal { D } } [ y ( \mathbf { x } ; \mathcal { D } ) ] \right\} ^ { 2 } \right] } _ { \text { variance } } } \end{array} ED​[{y(x;D)−h(x)}2]=( bias )2 {ED​[y(x;D)]−h(x)}2​​+ variance  ED​[{y(x;D)−ED​[y(x;D)]}2]​​​第⼀项，被称为平⽅偏置（bias），表⽰所有数据集的平均预测与预期的回归函数之间的差异。第⼆项，被称为⽅差（variance），度量了对于单独的数据集，模型所给出的解在平均值附近波动的情况，因此也就度量了函数$y(\mathbf{x};\mathcal{D})$对于特定的数据集的选择的敏感程度。当带回第一章那个式子时，$$\text{ expected loss }=(\text{ bias }{)}^2+\text{ variance }+\text{ noise }$$ ( b i a s ) 2 = ∫ { E D [ y ( x ; D ) ] − h ( x ) } 2 p ( x ) d x  variance  = ∫ E D [ { y ( x ; D ) − E D [ y ( x ; D ) ] } 2 ] p ( x ) d x  noise  = ∫ { h ( x ) − t } 2 p ( x , t ) d x d t \begin{aligned} ( \mathrm { bias } ) ^ { 2 } & = \int \left\{ \mathbb { E } _ { \mathcal { D } } [ y ( \mathbf { x } ; \mathcal { D } ) ] - h ( \mathbf { x } ) \right\} ^ { 2 } p ( \mathbf { x } ) \mathrm { d } \mathbf { x } \\ \text { variance } & = \int \mathbb { E } _ { \mathcal { D } } \left[ \left\{ y ( \mathbf { x } ; \mathcal { D } ) - \mathbb { E } _ { \mathcal { D } } [ y ( \mathbf { x } ; \mathcal { D } ) ] \right\} ^ { 2 } \right] p ( \mathbf { x } ) \mathrm { d } \mathbf { x } \\ \text { noise } & = \int \{ h ( \mathbf { x } ) - t \} ^ { 2 } p ( \mathbf { x } , t ) \mathrm { d } \mathbf { x } \mathrm { d } t \end{aligned} (bias)2 variance  noise ​=∫{ED​[y(x;D)]−h(x)}2p(x)dx=∫ED​[{y(x;D)−ED​[y(x;D)]}2]p(x)dx=∫{h(x)−t}2p(x,t)dxdt​我们的⽬标是最⼩化期望损失，它可以分解为（平⽅）偏置、⽅差和⼀个常数噪声项的和。正如我们将看到的那样，在偏置和⽅差之间有⼀个折中。对于⾮常灵活的模型来说，偏置较⼩，⽅差较⼤。对于相对固定的模型来说，偏置较⼤，⽅差较⼩。有着最优预测能⼒的模型时在偏置和⽅差之间取得最优的平衡的模型。下面是通过控制正则化参数调节模型的复杂度，进而研究这个折中关系

。
虽然偏置-⽅差分解能够从频率学家的⾓度对模型的复杂度提供⼀些有趣的认识，但是它的实⽤价值很有限。这是因为偏置-⽅差分解依赖于对所有的数据集求平均，⽽在实际应⽤中我们只有⼀个观测数据集。如果我们有⼤量的已知规模的独⽴的训练数据集，那么我们最好的⽅法是把它们组合成⼀个⼤的训练集，这显然会降低给定复杂度的模型的过拟合程度。

3.3 Bayesian Linear Regression

贝叶斯方法则能很好地防止过拟合！

3.3.1 Parameter distribution

假设噪声精度$\beta$已知，之前的$$p(\mathbf{t}|\mathbf{w})=\prod _{n=1}^N\mathcal{N}\left(t_n|{\mathbf{w}}^{\mathrm{T}}\mathbf{\varphi }\left({\mathbf{x}}_n\right),{\beta }^{-1}\right)$$取共轭先验$$p(\mathbf{w})=\mathcal{N}\left(\mathbf{w}|{\mathbf{m}}_0,{\mathbf{S}}_0\right)$$则后验为$$p(\mathbf{w}|\mathbf{t})=\mathcal{N}\left(\mathbf{w}|{\mathbf{m}}_N,{\mathbf{S}}_N\right)$$$$\begin{array}{rl}{\mathbf{m}}_N& ={\mathbf{S}}_N\left({\mathbf{S}}_0^{-1}{\mathbf{m}}_0+\beta {\mathbf{\Phi }}^{\mathrm{T}}\mathbf{t}\right)\\ {\mathbf{S}}_N^{-1}& ={\mathbf{S}}_0^{-1}+\beta {\mathbf{\Phi }}^{\mathrm{T}}\mathbf{\Phi }\end{array}$$当${\mathbf{S}}_0={\alpha }^{-1}\mathbf{I}$其中$\alpha \to 0$时，此时的结果就变成了MLE估计的结果。这个结果跟第二章中的Noninformative priors很相似！同时贝叶斯估计天然地提供了序列解释意义，在观测到$N-1$个数据时，此时的后验可以看成第$N$个数据到来的先验！
为简单起见，我们将先验设置成简单的先验$$p(\mathbf{w}|\alpha )=\mathcal{N}\left(\mathbf{w}|0,{\alpha }^{-1}\mathbf{I}\right)$$且这相应的后验变为$$\begin{array}{rl}{\mathbf{m}}_N& =\beta {\mathbf{S}}_N{\mathbf{\Phi }}^{\mathrm{T}}\mathbf{t}\\ {\mathbf{S}}_N^{-1}& =\alpha \mathbf{I}+\beta {\mathbf{\Phi }}^{\mathrm{T}}\mathbf{\Phi }\end{array}$$该log的后验概率为$$\ln p(\mathbf{w}|\mathbf{t})=-\frac{\beta }{2}\sum _{n=1}^N{\left\{t_n-{\mathbf{w}}^{\mathrm{T}}\mathbf{\varphi }\left({\mathbf{x}}_n\right)\right\}}^2-\frac{\alpha }{2}{\mathbf{w}}^{\mathrm{T}}\mathbf{w}+\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{s}\mathrm{t}$$关于$\mathbf{w}$的最大值优化与正则项的优化一致。下图为一个经典的贝叶斯学习的过程

当选择其它的先验分布$$p(\mathbf{w}|\alpha )={\left[\frac{q}{2}{\left(\frac{\alpha }{2}\right)}^{1/q}\frac{1}{\Gamma (1/q)}\right]}^M\exp \left(-\frac{\alpha }{2}\sum _{j=1}^M{\left|w_j\right|}^q\right)$$最后化简后的MAP等效为$$\frac{1}{2}\sum _{n=1}^N{\left\{t_n-{\mathbf{w}}^{\mathrm{T}}\mathbf{\varphi }\left({\mathbf{x}}_n\right)\right\}}^2+\frac{\lambda }{2}\sum _{j=1}^M{\left|w_j\right|}^q$$

3.3.2 Predictive distribution

$$p(t|\mathbf{t},\alpha ,\beta )=\int p(t|\mathbf{w},\beta )p(\mathbf{w}|\mathbf{t},\alpha ,\beta )\mathrm{d}\mathbf{w}$$$$p(t|\mathbf{x},\mathbf{t},\alpha ,\beta )=\mathcal{N}\left(t|{\mathbf{m}}_N^{\mathrm{T}}\mathbf{\varphi }(\mathbf{x}),{\sigma }_N^2(\mathbf{x})\right)$$$${\sigma }_N^2(\mathbf{x})=\frac{1}{\beta }+\varphi (\mathbf{x}{)}^{\mathrm{T}}{\mathbf{S}}_N\varphi (\mathbf{x})$$可以证明${\sigma }_{N+1}^2(\mathbf{x})\le {\sigma }_N^2(\mathbf{x})$，且$N\to \infty$时，上式右边的第二部分就会趋于0，最终的方差只与噪声的方差有关。
如果我们使⽤局部的基函数（例如⾼斯基函数），那么在距离基函数中⼼⽐较远的区域，上式右边给出的预测⽅差的第⼆项的贡献将会趋于零，只剩下噪声的贡献 ?1。因此，当对基函数所在的区域之外的区域进⾏外插的时候，模型对于它做出的预测会变得相当确定，这通常不是我们想要的结果。通过使⽤被称为⾼斯过程的另⼀种贝叶斯回归⽅法，这个问题可以被避免。

3.3.3 Equivalent kernel

由于$$y(\mathbf{x},\mathbf{w})=\sum _{j=0}^{M-1}{w}_j{\varphi }_j(\mathbf{x})={\mathbf{w}}^{\mathrm{T}}\mathbf{\varphi }(\mathbf{x})$$之前得到的后验的均值为$${\mathbf{m}}_N=\beta {\mathbf{S}}_N{\mathbf{\Phi }}^{\mathrm{T}}\mathbf{t}$$则$$y\left(\mathbf{x},{\mathbf{m}}_N\right)={\mathbf{m}}_N^{\mathrm{T}}\mathbf{\varphi }(\mathbf{x})=\beta \mathbf{\varphi }(\mathbf{x}{)}^{\mathrm{T}}{\mathbf{S}}_N{\mathbf{\Phi }}^{\mathrm{T}}\mathbf{t}=\sum _{n=1}^N\beta \mathbf{\varphi }(\mathbf{x}{)}^{\mathrm{T}}{\mathbf{S}}_N\mathbf{\varphi }\left({\mathbf{x}}_n\right)t_n$$可以将上式写成$$y\left(\mathbf{x},{\mathbf{m}}_N\right)=\sum _{n=1}^{N}k\left(\mathbf{x},{\mathbf{x}}_n\right)t_n$$其中$k\left(\mathbf{x},{\mathbf{x}}^{\prime }\right)=\beta \varphi (\mathbf{x}{)}^{\mathrm{T}}{\mathbf{S}}_N\varphi \left({\mathbf{x}}^{\prime }\right)$这个矩阵称为平滑矩阵（smoother matrix）或者等价核（equivalent kernel）。距离$x$较近的数据点可以赋⼀个较⾼的权值，⽽距离x较远的数据点可以赋⼀个较低的权值。直观来看，与远处的证据相⽐，我们把局部的证据赋予更⾼的权值似乎是更合理的。注意，这种局部性不仅对于局部的⾼斯基函数成⽴，对于⾮局部的多项式基函数和sigmoid基函数也成⽴。
我们还可以获得更多的关于等价核的认识。考虑$y(x)$和$y(x^{\prime })$的协⽅差$$\begin{array}{rl}\mathrm{cov}\left[y(\mathbf{x}),y\left({\mathbf{x}}^{\prime }\right)\right]& =\mathrm{cov}\left[\varphi (\mathbf{x}{)}^{\mathrm{T}}\mathbf{w},{\mathbf{w}}^{\mathrm{T}}\mathbf{\varphi }\left({\mathbf{x}}^{\prime }\right)\right]\\ & =\varphi (\mathbf{x}{)}^{\mathrm{T}}{\mathbf{S}}_N\mathbf{\varphi }\left({\mathbf{x}}^{\prime }\right)={\beta }^{-1}k\left(\mathbf{x},{\mathbf{x}}^{\prime }\right)\end{array}$$根据等价核的形式，我们可以看到在附近的点处的预测均值相关性较⾼，⽽对于距离较远的点对，相关性就较低。⽤核函数表⽰线性回归给出了解决回归问题的另⼀种⽅法。我们不引⼊⼀组基函数（它隐式地定义了⼀个等价的核），⽽是直接定义⼀个局部的核函数，然后在给定观测数据集的条件下，使⽤这个核函数对新的输⼊变量x做预测。这就引出了⽤于回归问题（以及分类问题）的⼀个很实⽤的框架，被称为⾼斯过程（Gaussian process）。后续将进行介绍。
需要说明的是，对于任意$x$，有$$\sum _{n=1}^{N}k\left(\mathbf{x},{\mathbf{x}}_n\right)=1$$这个可以采用一种非形式化的方法简单证明出来。很显然加和部分正好为对于所有$n$，$t_n=1$的数据集，假设基函数是线性独⽴的，且数据点的数量多于基函数的数量，并且其中⼀个基函数是常量（对应于偏置参数），那么很明显我们可以精确地拟合训练数据，因此预测均值就是简单的$\hat{y}(\mathbf{x})=1$。由此得证。
最后我们需要说明的是，核函数可以写成$$k(\mathbf{x},\mathbf{z})=\mathbf{\psi }(\mathbf{x}{)}^T\mathbf{\psi }(\mathbf{z})$$其中$\mathbf{\psi }(\mathbf{x})={\beta }^{\frac{1}{2}}{\mathbf{S}}_N^{\frac{1}{2}}\mathbf{\psi }(\mathbf{x})$

3.4 Bayesian Model Comparison

在第1章中，我们强调了过拟合的问题，也介绍了通过使⽤交叉验证的⽅法，来设置正则化参数的值，或者从多个模型中选择合适的⼀个。这⾥，我们从贝叶斯的⾓度考虑模型选择的问题。在本节中，我们的讨论是⾮常⼀般的。之后在3.5节，我们将会看到这些想法是如何应⽤到线性回归的正则化参数确定的问题中的。
正如我们将看到的那样，与最⼤似然估计相关联的过拟合问题可以通过对模型的参数进⾏求和或者积分的⽅式（⽽不是进⾏点估计）来避免。这样，模型可以直接在训练数据上进⾏⽐较，⽽不需要验证集。这使得所有的数据都能够被⽤于训练，并且避免了交叉验证当中每个模型要运⾏多次训练过程的问题。它也让多个复杂度参数可以同时在训练过程中被确定。例如，在第7章，我们会介绍相关向量机（relevance vector machine），这是⼀个贝叶斯模型，它对于每个训练数据点都有⼀个复杂度参数。
假设现在我们要比较$L$个模型 { M i } \left\{ \mathcal { M } _ { i } \right\} {Mi​}，在给定训练数据$\mathcal{D}$时，$$p\left({\mathcal{M}}_i|\mathcal{D}\right)\propto p\left({\mathcal{M}}_i\right)p\left(\mathcal{D}|{\mathcal{M}}_i\right)$$其中$p\left(\mathcal{D}|{\mathcal{M}}_i\right)$称为model evidence（marginal likelihood）。当我们知道上述的后验概率时，就能得到预测分布$$p(t|\mathbf{x},\mathcal{D})=\sum _{i=1}^{L}p\left(t|\mathbf{x},{\mathcal{M}}_i,\mathcal{D}\right)p\left({\mathcal{M}}_i|\mathcal{D}\right)$$这样的方式称为mixture distribution。
对于模型求平均的⼀个简单的近似是使⽤最可能的⼀个模型⾃⼰做预测。这被称为模型选择（model selection）。
当考虑模型的参数为$\mathbf{w}$时，model evidence为$$p\left(\mathcal{D}|{\mathcal{M}}_i\right)=\int p\left(\mathcal{D}|\mathbf{w},{\mathcal{M}}_i\right)p\left(\mathbf{w}|{\mathcal{M}}_i\right)\mathrm{d}\mathbf{w}$$在贝叶斯公式中，model evidence还可以看成分母$$p\left(\mathbf{w}|\mathcal{D},{\mathcal{M}}_i\right)=\frac{p\left(\mathcal{D}|\mathbf{w},{\mathcal{M}}_i\right)p\left(\mathbf{w}|{\mathcal{M}}_i\right)}{p\left(\mathcal{D}|{\mathcal{M}}_i\right)}$$
通过对参数的积分进⾏⼀个简单的近似，我们可以更加深刻地认识model evidence。⾸先考虑模型有⼀个参数$w$的情形。这个参数的后验概率正⽐于$p(\mathcal{D}|w)p(w)$，其中为了简化记号，我们省略了它对于模型${\mathcal{M}}_i$的依赖。如果我们假设后验分布在最⼤似然值$w_{MAP}$ 附近是⼀个尖峰，宽度为$\Delta w_{\mathrm{p}\mathrm{o}\mathrm{s}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{i}\mathrm{o}\mathrm{r}}$，那么我们可以⽤被积函数的值乘以尖峰的宽度来近似这个积分。如果我们进⼀步假设先验分布是平的，宽度为 $△w_{\text{ prior }}$，即$p(w)=1/\Delta w_{\text{ prior }}$，那么我们有$$p(\mathcal{D})=\int p(\mathcal{D}|w)p(w)\mathrm{d}w\simeq p\left(\mathcal{D}|w_{\mathrm{M}\mathrm{A}\mathrm{P}}\right)\frac{\Delta w_{\mathrm{p}\mathrm{o}\mathrm{s}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{i}\mathrm{o}\mathrm{r}}}{\Delta w_{\mathrm{p}\mathrm{r}\mathrm{i}\mathrm{o}\mathrm{r}}}$$取log$$\ln p(\mathcal{D})\simeq \ln p\left(\mathcal{D}|w_{\mathrm{M}\mathrm{A}\mathrm{P}}\right)+\ln \left(\frac{\Delta w_{\mathrm{p}\mathrm{o}\mathrm{s}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{i}\mathrm{o}\mathrm{r}}}{\Delta w_{\mathrm{p}\mathrm{r}\mathrm{i}\mathrm{o}\mathrm{r}}}\right)$$其近似情况可以以下图来解释

第⼀项表⽰拟合由最可能参数给出的数据。对于平的先验分布来说，这对应于对数似然。第⼆项⽤于根据模型的复杂度来惩罚模型。由于$\Delta w_{\text{ posterior }}<\Delta w_{\text{ prior }}$，因此这⼀项为负，并且随着$\Delta w_{\text{ posterior }}/\Delta w_{\text{ prior }}$的减⼩，它的绝对值会增加。因此，如果参数精确地调整为后验分布的数据（就是说$\Delta w_{\text{ posterior }}$很小），那么惩罚项会很⼤。
假如说模型中有$M$个参数，我们可以采用类似的方法独立近似每个参数，且假设每个参数的$\Delta w_{\text{ posterior }}/\Delta w_{\text{ prior }}$都一样$$\ln p(\mathcal{D})\simeq \ln p\left(\mathcal{D}|{\mathbf{w}}_{\mathrm{M}\mathrm{A}\mathrm{P}}\right)+M\ln \left(\frac{\Delta w_{\text{ posterior }}}{\Delta w_{\text{ prior }}}\right)$$因此，在这种⾮常简单的近似下，复杂度惩罚项的⼤⼩随着模型中可调节参数$M$的数量线性增加。随着我们增加模型的复杂度，第⼀项通常会增⼤，因为⼀个更加复杂的模型能够更好地拟合数据，⽽第⼆项会减⼩，因为它依赖于$M$。由最⼤模型证据确定的最优的模型复杂度需要在这两个相互竞争的项之间进⾏折中。我们后⾯会介绍这种近似的⼀个更加精炼的版本，那个版本依赖于后验概率分布的⾼斯近似。

通过上图，我们可以进⼀步深⼊认识贝叶斯模型⽐较，并且理解model evidence是如何倾向于选择中等复杂度的模型的。这⾥，横轴是可能的数据集构成的空间的⼀个⼀维表⽰，因此轴上的每个点都对应着⼀个具体的数据集。我们现在考虑三个模型${\mathcal{M}}_1,{\mathcal{M}}_2$ and ${\mathcal{M}}_3$，复杂度依次增加。假设我们让这三个模型⾃动产⽣样本数据集，然后观察⽣成的数据集的分布。任意给定的模型都能够⽣成⼀系列不同的数据集，这是因为模型的参数由先验概率分布控制，对于任意⼀种参数的选择，在⽬标变量上都可能有随机的噪声。为了从具体的模型中⽣成⼀个特定的数据集，我们⾸先从先验分布$p(w)$中选择参数的值，然后对于这些参数的值，我们按照概率$p(\mathcal{D}|\mathbf{w})$对数据进⾏采样。⼀个简单的模型（例如，基于⼀阶多项式的模型）⼏乎没有变化性，因此⽣成的数据集彼此之间都⼗分相似。于是它的分布$p(\mathcal{D})$就被限制在横轴的⼀个相对⼩的区域。相反，⼀个复杂的模型（例如九阶多项式）可以⽣成变化性相当⼤的数据集，因此它的分布$p(\mathcal{D})$遍布了数据集空间的⼀个相当⼤的区域。由于概率分布$p(\mathcal{D}|\mathbf{w})$是归⼀化的，因此我们看到特定的数据集${\mathcal{D}}_0$对中等复杂度的模型有最⾼的模型证据。本质上说，简单的模型不能很好地拟合数据，⽽复杂的模型把它的预测概率散布于过多的可能的数据集当中，从⽽对它们当中的每⼀个赋予的概率都相对较⼩。
贝叶斯模型⽐较框架中隐含的⼀个假设是，⽣成数据的真实的概率分布包含在考虑的模型集合当中。如果这个假设确实成⽴，那么我们我们可以证明，平均来看，贝叶斯模型⽐较会倾向于选择出正确的模型。为了证明这⼀点，考虑两个模型${\mathcal{M}}_1$和${\mathcal{M}}_2$，其中真实的概率分布对应于模型${\mathcal{M}}_1$。对于给定的有限数据集，确实有可能出现错误的模型反⽽使贝叶斯因⼦较⼤的事情。但是，如果我们把贝叶斯因⼦在数据集分布上进⾏平均，那么我们可以得到期望贝叶斯因⼦$$\int p\left(\mathcal{D}|{\mathcal{M}}_1\right)\ln \frac{p\left(\mathcal{D}|{\mathcal{M}}_1\right)}{p\left(\mathcal{D}|{\mathcal{M}}_2\right)}\mathrm{d}\mathcal{D}$$以上刚好为一个KL散度，只有当两个分布相同时，才为0，其他时候大于0，因此平均来看还是$p\left(\mathcal{D}|{\mathcal{M}}_1\right)>p\left(\mathcal{D}|{\mathcal{M}}_2\right)$，因此会趋向于选择正确的模型！
我们已经看到，贝叶斯框架避免了过拟合的问题，并且使得模型能够基于训练数据⾃⾝进⾏对⽐。但是，与模式识别中任何其他的⽅法⼀样，贝叶斯⽅法需要对模型的形式作出假设，并且如果这些假设不合理，那么结果就会出错。特别地，我们从上2图可以看出，模型证据对先验分布的很多⽅⾯都很敏感，例如在低概率处的⾏为等等。实际上，如果先验分布是反常的，那么模型证据⽆法定义，因为反常的先验分布有着任意的缩放因⼦（换句话说，归⼀化系数⽆法定义，因为分布根本⽆法被归⼀化）。如果我们考虑⼀个正常的先验分布，然后取⼀个适当的极限来获得⼀个反常的先验（例如⾼斯先验中，我们令⽅差为⽆穷⼤），那么模型证据就会趋于零，这可以从公式和上2图中看出来（此时先验的$\Delta w_{\text{ prior }}$无穷大）。但是这种情况下也可能通过⾸先考虑两个模型的证据⽐值，然后取极限的⽅式来得到⼀个有意义的答案。
因此，在实际应⽤中，⼀种明智的做法是，保留⼀个独⽴的测试数据集，这个数据集⽤来评估最终系统的整体表现。

3.5 The Evidence Approximation

在处理线性基函数模型的纯粹的贝叶斯⽅法中，我们会引⼊超参数$\alpha$和 $\beta$的先验分布，然后通过对超参数以及参数$\mathbf{w}$求积分的⽅式做预测。但是，虽然我们可以解析地求出对$\mathbf{w}$的积分或者求出对超参数的积分，但是对所有这些变量完整地求积分是没有解析解的。这⾥我们讨论⼀种近似⽅法。这种⽅法中，我们⾸先对参数w求积分，得到边缘似然函数（marginal likelihood function），然后通过最⼤化边缘似然函数，确定超参数的值。$$p(t|\mathbf{t})=\iiint p(t|\mathbf{w},\beta )p(\mathbf{w}|\mathbf{t},\alpha ,\beta )p(\alpha ,\beta |\mathbf{t})\mathrm{d}\mathbf{w}\mathrm{d}\alpha \mathrm{d}\beta$$其中$$p(t|\mathbf{w},\beta )=\mathcal{N}\left(t|y(\mathbf{x},\mathbf{w}),{\beta }^{-1}\right)$$$$p(\mathbf{w}|\mathbf{t},\alpha ,\beta )=\mathcal{N}\left(\mathbf{w}|{\mathbf{m}}_N,{\mathbf{S}}_N\right)$$$$\begin{array}{rl}{\mathbf{m}}_N& =\beta {\mathbf{S}}_N{\mathbf{\Phi }}^{\mathrm{T}}\mathbf{t}\\ {\mathbf{S}}_N^{-1}& =\alpha \mathbf{I}+\beta {\mathbf{\Phi }}^{\mathrm{T}}\mathbf{\Phi }\end{array}$$如果后验分布$p(\alpha ,\beta |\mathbf{t})$的峰值为$\hat{\alpha }$和$\hat{\beta }$，那么预测分布可以近似为$$p(t|\mathbf{t})\simeq p(t|\mathbf{t},\hat{\alpha },\hat{\beta })=\int p(t|\mathbf{w},\hat{\beta })p(\mathbf{w}|\mathbf{t},\hat{\alpha },\hat{\beta })\mathrm{d}\mathbf{w}$$对于$\alpha$和$\beta$来说，$$p(\alpha ,\beta |\mathbf{t})\propto p(\mathbf{t}|\alpha ,\beta )p(\alpha ,\beta )$$当超参数先验$p(\alpha ,\beta )$很平坦时，$\hat{\alpha }$和$\hat{\beta }$就可表示为最大化$p(\mathbf{t}|\mathbf{\alpha },\beta )$的值。这将使我们能够从训练数据本⾝确定这些超参数的值，⽽不需要交叉验证。
需要说明的是，当我对$\alpha ,\beta$选择Gamma共轭先验，那么当积分积掉这两个超参时，会得到$w$上的学生t分布，这样的t分布再对$w$上积分得不到解析的解。后续可以采用拉普拉斯近似求解。
回到证据框架中，我们注意到有两种⽅法可以⽤来最⼤化对数证据。我们可以解析地计算证据函数，然后令它的导数等于零，得到了对于$\alpha ,\beta$的重新估计⽅程（将在3.5.2节讨论）。另⼀种⽅法是，我们使⽤⼀种被称为期望最⼤化（EM）算法的⽅法，这个算法将在9.3.4节讨论，那⾥我们还会证明这两种⽅法会收敛到同⼀个解。

3.5.1 Evaluation of the evidence function

边缘似然函数$$p(\mathbf{t}|\alpha ,\beta )=\int p(\mathbf{t}|\mathbf{w},\beta )p(\mathbf{w}|\alpha )\mathrm{d}\mathbf{w}$$ p ( t ∣ α , β ) = ( β 2 π ) N / 2 ( α 2 π ) M / 2 ∫ exp ⁡ { − E ( w ) } d w p ( \mathbf { t } | \alpha , \beta ) = \left( \frac { \beta } { 2 \pi } \right) ^ { N / 2 } \left( \frac { \alpha } { 2 \pi } \right) ^ { M / 2 } \int \exp \{ - E ( \mathbf { w } ) \} \mathrm { d } \mathbf { w } p(t∣α,β)=(2πβ​)N/2(2πα​)M/2∫exp{−E(w)}dw其中$$\begin{array}{rl}E(\mathbf{w})& =\beta E_D(\mathbf{w})+\alpha E_W(\mathbf{w})\\ & =\frac{\beta }{2}\Vert \mathbf{t}-\mathbf{\Phi }\mathbf{w}{\Vert }^2+\frac{\alpha }{2}{\mathbf{w}}^{\mathrm{T}}\mathbf{w}\end{array}$$将上式化为关于$\mathbf{w}$的二次型$$E(\mathbf{w})=E\left({\mathbf{m}}_N\right)+\frac{1}{2}{\left(\mathbf{w}-{\mathbf{m}}_N\right)}^{\mathrm{T}}\mathbf{A}\left(\mathbf{w}-{\mathbf{m}}_N\right)$$其中$$\mathbf{A}=\alpha \mathbf{I}+\beta {\mathbf{\Phi }}^{\mathrm{T}}\mathbf{\Phi }$$$$E\left({\mathbf{m}}_N\right)=\frac{\beta }{2}{\Vert \mathbf{t}-\mathbf{\Phi }{\mathbf{m}}_N\Vert }^2+\frac{\alpha }{2}{\mathbf{m}}_N^{\mathrm{T}}{\mathbf{m}}_N$$$\mathbf{A}$为$E(\mathbf{w})$的海森矩阵$\mathbf{A}=\nabla \nabla E(\mathbf{w})$刚好有${\mathbf{m}}_N=\beta {\mathbf{A}}^{-1}{\mathbf{\Phi }}^{\mathrm{T}}\mathbf{t}$那么
∫ exp ⁡ { − E ( w ) } d w = exp ⁡ { − E ( m N ) } ∫ exp ⁡ { − 1 2 ( w − m N ) T A ( w − m N ) } d w = exp ⁡ { − E ( m N ) } ( 2 π ) M / 2 ∣ A ∣ − 1 / 2 \begin{array} { l } { \int \exp \{ - E ( \mathbf { w } ) \} \mathrm { d } \mathbf { w } } \\ { = \exp \left\{ - E \left( \mathbf { m } _ { N } \right) \right\} \int \exp \left\{ - \frac { 1 } { 2 } \left( \mathbf { w } - \mathbf { m } _ { N } \right) ^ { \mathrm { T } } \mathbf { A } \left( \mathbf { w } - \mathbf { m } _ { N } \right) \right\} \mathrm { d } \mathbf { w } } \\ { \quad = \exp \left\{ - E \left( \mathbf { m } _ { N } \right) \right\} ( 2 \pi ) ^ { M / 2 } | \mathbf { A } | ^ { - 1 / 2 } } \end{array} ∫exp{−E(w)}dw=exp{−E(mN​)}∫exp{−21​(w−mN​)TA(w−mN​)}dw=exp{−E(mN​)}(2π)M/2∣A∣−1/2​$$\ln p(\mathbf{t}|\alpha ,\beta )=\frac{M}{2}\ln \alpha +\frac{N}{2}\ln \beta -E\left({\mathbf{m}}_N\right)-\frac{1}{2}\ln |\mathbf{A}|-\frac{N}{2}\ln (2\pi )$$这样就给出了model evidence的表达式，为了更加深刻地理解这个。在第一章中有这样两个图


我们看到M = 0的多项式对数据的拟合效果⾮常差，结果模型证据的值也相对较⼩。M = 1的多项式对于数据的拟合效果有了显著的提升，因此模型证据变⼤了。但是，对于M = 2的多项式，拟合效果又变得很差，因为产⽣数据的正弦函数是奇函数，因此在多项式展开中没有偶次项。事实上，图1.5给出的数据残差从M = 1到M = 2只有微⼩的减⼩。由于复杂的模型有着更⼤的复杂度惩罚项，因此从M = 1到M = 2，模型证据实际上减⼩了。当M = 3时，我们对于数据的拟合效果有了很⼤的提升，如图1.4所⽰，因此模型证据再次增⼤，给出了多项式拟合的最⾼的模型证据。进⼀步增加M的值，只能少量地提升拟合的效果，但是模型的复杂度却越来越复杂，这导致整体的模型证据会下降。再次看图1.5，我们看到泛化错误在M = 3到M = 8之间⼏乎为常数，因此单独基于这幅图很难对模型做出选择。然⽽，模型证据的值明显地倾向于选择M = 3的模型，因为这是能很好地解释观测数据的最简单的模型。

3.5.2 Maximizing the evidence function

首先考虑特征方程为$$\left(\beta {\mathbf{\Phi }}^{\mathrm{T}}\mathbf{\Phi }\right){\mathbf{u}}_i={\lambda }_i{\mathbf{u}}_i$$那么$\mathbf{A}$的特征值为$\alpha +{\lambda }_i$，则$$\frac{d}{d\alpha }\ln |\mathbf{A}|=\frac{d}{d\alpha }\ln \prod _i\left({\lambda }_i+\alpha \right)=\frac{d}{d\alpha }\sum _i\ln \left({\lambda }_i+\alpha \right)=\sum _i\frac{1}{{\lambda }_i+\alpha }$$关于$\alpha$求导为0的式子$$0=\frac{M}{2\alpha }-\frac{1}{2}{\mathbf{m}}_N^{\mathrm{T}}{\mathbf{m}}_N-\frac{1}{2}\sum _i\frac{1}{{\lambda }_i+\alpha }$$$$\alpha {\mathbf{m}}_N^{\mathrm{T}}{\mathbf{m}}_N=M-\alpha \sum _i\frac{1}{{\lambda }_i+\alpha }=\gamma$$$$\gamma =\sum _i\frac{{\lambda }_i}{\alpha +{\lambda }_i}$$最优解为$$\alpha =\frac{\gamma }{{\mathbf{m}}_N^{\mathrm{T}}{\mathbf{m}}_N}$$但$\gamma$中包好了$\alpha$，且${\mathbf{m}}_N$中也包含$\alpha$，因此可以考虑迭代的方式求$\alpha$。同样地对于$\beta$$$\frac{d}{d\beta }\ln |\mathbf{A}|=\frac{d}{d\beta }\sum _i\ln \left({\lambda }_i+\alpha \right)=\frac{1}{\beta }\sum _i\frac{{\lambda }_i}{{\lambda }_i+\alpha }=\frac{\gamma }{\beta }$$$$0=\frac{N}{2\beta }-\frac{1}{2}\sum _{n=1}^N{\left\{t_n-{\mathbf{m}}_N^{\mathrm{T}}\mathbf{\varphi }\left({\mathbf{x}}_n\right)\right\}}^2-\frac{\gamma }{2\beta }$$$$\frac{1}{\beta }=\frac{1}{N-\gamma }\sum _{n=1}^N{\left\{t_n-{\mathbf{m}}_N^{\mathrm{T}}\varphi \left({\mathbf{x}}_n\right)\right\}}^2$$同样采取迭代的方式求解。

3.5.3 Effective number of parameters

当$\alpha =0$时，绿色的先验就会无穷大，也就是之前的noninformative prior，此时众数(mode)就是最大似然参数，而对于非零的$\alpha$mode为MAP估计点，如图蓝色点。特征值${\lambda }_i$定义了似然函数的曲率，图中${\lambda }_1>{\lambda }_2$，由于$\beta {\mathbf{\Phi }}^{\mathrm{T}}\mathbf{\Phi }$为正定的，那么其特征值也都是大于0的，则${\lambda }_i/\left({\lambda }_i+\alpha \right)$在0和1之间。可以看出当${\lambda }_i/\left({\lambda }_i+\alpha \right)-->1$时，参数将会很好地被数据所约束，接近MLE，然而当趋向于0时，参数就会很大程度被先验确定。因此称$\gamma$为measures the effective total number of well determined parameters.
下面研究下$\beta$，之前的MLE
$$\frac{1}{{\beta }_{\mathrm{M}\mathrm{L}}}=\frac{1}{N}\sum _{n=1}^N{\left\{t_n-{\mathbf{w}}_{\mathrm{M}\mathrm{L}}^{\mathrm{T}}\mathbf{\varphi }\left({\mathbf{x}}_n\right)\right\}}^2$$而上一部分得到的为$$\frac{1}{\beta }=\frac{1}{N-\gamma }\sum _{n=1}^N{\left\{t_n-{\mathbf{m}}_N^{\mathrm{T}}\mathbf{\varphi }\left({\mathbf{x}}_n\right)\right\}}^2$$它们的区别在于，最⼤似然结果的分母是数据点的数量$N$，⽽贝叶斯结果的分母是$N-\gamma$ 。之前对于高斯分布的方差估计为$${\sigma }_{\mathrm{M}\mathrm{L}}^2=\frac{1}{N}\sum _{n=1}^N{\left(x_n-{\mu }_{\mathrm{M}\mathrm{L}}\right)}^2$$但是这个估计是有偏的，而无偏的估计为$${\sigma }_{\mathrm{M}\mathrm{A}\mathrm{P}}^2=\frac{1}{N-1}\sum _{n=1}^N{\left(x_n-{\mu }_{\mathrm{M}\mathrm{L}}\right)}^2$$分母中的因⼦$N-1$反映了模型中的⼀个⾃由度被⽤于拟合均值的事实，它抵消了最⼤似然解的偏差。现在考虑线性回归模型的对应的结果。⽬标分布的均值现在由函数${\mathbf{w}}^{\mathrm{T}}\varphi (\mathbf{x})$给出，它包含了$M$个参数。但是，并不是所有的这些参数都按照数据进⾏了调解。由数据确定的有效参数的数量为，剩余的$M-\gamma$个参数被先验概率分布设置为较⼩的值。这可以通过⽅差的贝叶斯结果中的因⼦$N-\gamma$ 反映出来，因此修正了最⼤似然结果的偏差。

当$N\gg M$时，数据点的数量⼤于参数的数量，因为${\mathbf{\Phi }}^T\mathbf{\Phi }$涉及到数据点的隐式求和，因此特征值${\lambda }_i$随着数据集规模的增加⽽增⼤。在这种情况下，$\gamma =M$，并且$\alpha$和$\beta$ 的重新估计⽅程变为了$$\begin{array}{rl}\alpha & =\frac{M}{2E_W\left({\mathbf{m}}_N\right)}\\ \beta & =\frac{N}{2E_D\left({\mathbf{m}}_N\right)}\end{array}$$

3.6 Limitations of Fixed Basis Functions

在本章中，我们已经关注了由固定的⾮线性基函数的线性组合组成的模型。我们已经看到，对于参数的线性性质的假设产⽣了⼀系列有⽤的性质，包括最⼩平⽅问题的解析解，以及容易计算的贝叶斯⽅法。此外，对于⼀个合适的基函数的选择，我们可以建⽴输⼊向量到⽬标值之间的任意⾮线性映射。在下⼀章中，我们会研究类似的⽤于分类的模型。
因此，似乎这样的模型建⽴的解决模式识别问题的通⽤框架。不幸的是，线性模型有⼀些重要的局限性，这使得我们在后续的章节中要转⽽关注更加复杂的模型，例如⽀持向量机和神经⽹络。
困难的产⽣主要是因为我们假设了基函数在观测到任何数据之前就被固定了下来，⽽这正是1.4节讨论的维度灾难问题的⼀个表现形式。结果，基函数的数量随着输⼊空间的维度$D$迅速增长，通常是指数⽅式的增长。
幸运的是，真实数据集有两个性质，可以帮助我们缓解这个问题。第⼀，数据向量 { x n } \left\{ x _ { n } \right\} {xn​}通常位于⼀个⾮线性流形内部。由于输⼊变量之间的相关性，这个流形本⾝的维度⼩于输⼊空间的维度。我们将在第12章中讨论⼿写数字识别时给出⼀个例⼦来说明这⼀点。如果我们使⽤局部基函数，那么我们可以让基函数只分布在输⼊空间中包含数据的区域。这种⽅法被⽤在径向基函数⽹络中，也被⽤在⽀持向量机和相关向量机当中。神经⽹络模型使⽤可调节的基函数，这些基函数有着sigmoid⾮线性的性质。神经⽹络可以通过调节参数，使得在输⼊空间的区域中基函数会按照数据流形发⽣变化。第⼆，⽬标变量可能只依赖于数据流形中的少量可能的⽅向。利⽤这个性质，神经⽹络可以通过选择输⼊空间中基函数产⽣响应的⽅向。