PRML学习总结（7）——Sparse Kernel Machines

在前⼀章中，我们研究了许多基于⾮线性核的学习算法。这种算法的⼀个最⼤的局限性是核函数 $k\left({\mathbf{x}}_n,{\mathbf{x}}_m\right)$必须对所有可能的训练点对 ${\mathbf{x}}_n$和 ${\mathbf{x}}_m$进⾏求值，这在训练阶段的计算上是不可⾏的，并且会使得对新的数据点进⾏预测时也会花费过多的时间。本章中，我们会看到具有稀疏（sparse）解的基于核的算法，从⽽对新数据的预测只依赖于在训练数据点的⼀个⼦集上计算的核函数。

7.1 Maximum Margin Classifiers

首先考虑二分类问题，$$y(\mathbf{x})={\mathbf{w}}^{\mathrm{T}}\mathbf{\varphi }(\mathbf{x})+b$$我们认为数据是线性可分的，即存在参数$\mathbf{w}$和$b$使得能够使得数据集正确可分。之前在第四章学习感知器的时候就发现，对于可分的参数有很多，我们需要找到最优的一组解。SVM则定义了一个margin，通过最大化margin进而求解到最优的参数。且这个优化问题是一个凸优化问题，能够求解到唯一最值点。
在可分的情况下，有$t_{n}y\left({\mathbf{x}}_n\right)>0$，那么数据集中某个点${\mathbf{x}}_n$到决策面的距离为$$\frac{t_{n}y\left({\mathbf{x}}_n\right)}{\Vert \mathbf{w}\Vert }=\frac{t_n\left({\mathbf{w}}^{\mathrm{T}}\mathbf{\varphi }\left({\mathbf{x}}_n\right)+b\right)}{\Vert \mathbf{w}\Vert }$$margin就是在数据集中使得上式最小的距离，我们的目标是最大化这个距离$$\underset{\mathbf{w},b}{\mathrm{argmax}}\left\{\frac{1}{\Vert \mathbf{w}\Vert }\underset{n}{\min }\left[t_n\left({\mathbf{w}}^{\mathrm{T}}\mathbf{\varphi }\left({\mathbf{x}}_n\right)+b\right)\right]\right\}$$直接优化比较存在困难，那么可以将其转化为等价形式。当我们$\mathbf{w}\to \kappa \mathbf{w}$ and $b\to \kappa b$时，目标值$t_{n}y\left({\mathbf{x}}_n\right)/\Vert \mathbf{w}\Vert$将不会变化，因此我们可以对离决策面最近的一个点设定一个约束$$t_n\left({\mathbf{w}}^{\mathrm{T}}\mathbf{\varphi }\left({\mathbf{x}}_n\right)+b\right)=1$$这样一来，所有点$$t_n\left({\mathbf{w}}^{\mathrm{T}}\mathbf{\varphi }\left({\mathbf{x}}_n\right)+b\right)⩾1,n=1,\dots ,N$$对于以上约束，至少有一个点使得等号成立，那么原优化问题就等价为$$\underset{\mathbf{w},b}{\mathrm{argmin}}\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$$其约束条件如上。求解该优化问题，引入拉格朗日乘子$$L(\mathbf{w},b,\mathbf{a})=\frac{1}{2}\Vert \mathbf{w}{\Vert }^2-\sum _{n=1}^N{a}_n\left\{t_n\left({\mathbf{w}}^{\mathrm{T}}\mathbf{\varphi }\left({\mathbf{x}}_n\right)+b\right)-1\right\}$$目标为最小化$\mathbf{w}$和$b$，最大化$a_n$，利用求导梯度为0 $$\begin{array}{rl}\mathbf{w}& =\sum _{n=1}^N{a}_n{t}_n\mathbf{\varphi }\left({\mathbf{x}}_n\right)\\ 0& =\sum _{n=1}^N{a}_n{t}_n\end{array}$$代入原式$$\tilde{L}(\mathbf{a})=\sum _{n=1}^N{a}_n-\frac{1}{2}\sum _{n=1}^N\sum _{m=1}^N{a}_n{a}_m{t}_n{t}_{m}k\left({\mathbf{x}}_n,{\mathbf{x}}_m\right)$$约束条件为$$\begin{array}{rl}{a}_n& ⩾0,n=1,\dots ,N\\ \sum _{n=1}^N{a}_n{t}_n& =0\end{array}$$

对于新来的数据点$\mathbf{x}$，$$y(\mathbf{x})=\sum _{n=1}^N{a}_n{t}_{n}k\left(\mathbf{x},{\mathbf{x}}_n\right)+b$$在转化为对偶问题时，KKT条件 a n ⩾ 0 t n y ( x n ) − 1 ⩾ 0 a n { t n y ( x n ) − 1 } = 0 \begin{aligned} a_{n} & \geqslant 0 \\ t_{n} y\left(\mathbf{x}_{n}\right)-1 & \geqslant 0 \\ a_{n}\left\{t_{n} y\left(\mathbf{x}_{n}\right)-1\right\} &=0 \end{aligned} an​tn​y(xn​)−1an​{tn​y(xn​)−1}​⩾0⩾0=0​成立。那么对于每个数据点$a_n=0$ or $t_{n}y\left({\mathbf{x}}_n\right)=1$，对于$a_n$非零的点就是支持向量点。决定着之后的预测！对于参数$b$，可以利用支持向量决定$$t_n\left(\sum _{m\in \mathcal{S}}{a}_m{t}_{m}k\left({\mathbf{x}}_n,{\mathbf{x}}_m\right)+b\right)=1$$我们可以用其中一个支持向量计算参数$b$，为了训练稳定，可以将所有的$b$平均下。$$b=\frac{1}{N_{\mathcal{S}}}\sum _{n\in \mathcal{S}}\left(t_n-\sum _{m\in \mathcal{S}}{a}_m{t}_{m}k\left({\mathbf{x}}_n,{\mathbf{x}}_m\right)\right)$$

7.1.1 Overlapping class distributions

到目前为止所考虑的都是可分的情况，对于不可分的情况，我们可以通过对每个训练数据引入松弛变量${\xi }_n⩾0$来解决。具体地，对于正确分类（大于margin）的${\xi }_n=0$，而错误分类的${\xi }_n=\left|t_n-y\left({\mathbf{x}}_n\right)\right|$。

之前的约束$$t_{n}y\left({\mathbf{x}}_n\right)-1⩾0$$改为$$t_{n}y\left({\mathbf{x}}_n\right)⩾1-{\xi }_n,n=1,\dots ,N$$则目标变为了，最小化$$C\sum _{n=1}^N{\xi }_n+\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$$显然当$C\to \infty$时，就等价为之前可分的情况。优化上式同样采用拉格朗日乘子 L ( w , b , a ) = 1 2 ∥ w ∥ 2 + C ∑ n = 1 N ξ n − ∑ n = 1 N a n { t n y ( x n ) − 1 + ξ n } − ∑ n = 1 N μ n ξ n L(\mathbf{w}, b, \mathbf{a})=\frac{1}{2}\|\mathbf{w}\|^{2}+C \sum_{n=1}^{N} \xi_{n}-\sum_{n=1}^{N} a_{n}\left\{t_{n} y\left(\mathbf{x}_{n}\right)-1+\xi_{n}\right\}-\sum_{n=1}^{N} \mu_{n} \xi_{n} L(w,b,a)=21​∥w∥2+Cn=1∑N​ξn​−n=1∑N​an​{tn​y(xn​)−1+ξn​}−n=1∑N​μn​ξn​where { a n ⩾ 0 } \left\{a_{n} \geqslant 0\right\} {an​⩾0} and { μ n ⩾ 0 } \left\{\mu_{n} \geqslant 0\right\} {μn​⩾0}同样得到KKT条件$$\begin{array}{r}{a}_n⩾0\\ \begin{array}{rl}{t}_{n}y\left({\mathbf{x}}_n\right)-1+{\xi }_n& ⩾0\\ a_n\left(t_{n}y\left({\mathbf{x}}_n\right)-1+{\xi }_n\right)& =0\\ {\mu }_n& ⩾0\\ {\xi }_n& ⩾0\\ {\mu }_n{\xi }_n& =0\end{array}\end{array}$$$$\begin{array}{rl}\frac{\partial L}{\partial \mathbf{w}}& =0\Rightarrow \mathbf{w}=\sum _{n=1}^N{a}_n{t}_n\varphi \left({\mathbf{x}}_n\right)\\ \frac{\partial L}{\partial b}& =0\Rightarrow \sum _{n=1}^N{a}_n{t}_n=0\\ \frac{\partial L}{\partial {\xi }_n}& =0\Rightarrow a_n=C-{\mu }_n\end{array}$$之后代入原目标函数得$$\tilde{L}(\mathbf{a})=\sum _{n=1}^N{a}_n-\frac{1}{2}\sum _{n=1}^N\sum _{m=1}^N{a}_n{a}_m{t}_n{t}_{m}k\left({\mathbf{x}}_n,{\mathbf{x}}_m\right)$$可以发现目标函数与之前可分下是一样的，但是约束条件变为$$\begin{array}{l}0⩽a_n⩽C\\ {\sum }_{n=1}^N{a}_n{t}_n=0\end{array}$$对于$b$的求解仍然是采取支持向量$0<a_n<C$$$t_n\left(\sum _{m\in \mathcal{S}}{a}_m{t}_{m}k\left({\mathbf{x}}_n,{\mathbf{x}}_m\right)+b\right)=1$$同样地为了稳定性$$b=\frac{1}{N_{\mathcal{M}}}\sum _{n\in \mathcal{M}}\left(t_n-\sum _{m\in \mathcal{S}}{a}_m{t}_{m}k\left({\mathbf{x}}_n,{\mathbf{x}}_m\right)\right)$$还有一种等价的形式$\nu -SVM$，最大化$$\tilde{L}(\mathbf{a})=-\frac{1}{2}\sum _{n=1}^N\sum _{m=1}^N{a}_n{a}_m{t}_n{t}_{m}k\left({\mathbf{x}}_n,{\mathbf{x}}_m\right)$$约束为$$\begin{array}{l}0⩽a_n⩽1/N\\ {\sum }_{n=1}^N{a}_n{t}_n=0\\ {\sum }_{n=1}^N{a}_n⩾\nu \end{array}$$


$$y(\mathbf{x})={\mathbf{w}}^{\mathrm{T}}\mathbf{\varphi }(\mathbf{x})+b$$

7.1.2 Relation to logistic regression

与线性可分的情形⼀样，对于线性不可分的概率分布，我们可以⽤最⼩化正则化的误差函数的⽅法重新表⽰SVM。这也使得我们能够强调与logistic回归模型之间的相似性和差别。
由于${\xi }_n=\left|t_n-y\left({\mathbf{x}}_n\right)\right|$，则${\xi }_n=1-y_n{t}_n$，那么原目标函数可以写成$$\sum _{n=1}^N{E}_{\mathrm{S}\mathrm{V}}\left(y_n{t}_n\right)+\lambda \Vert \mathbf{w}{\Vert }^2$$其中$\lambda =(2C{)}^{-1}$，$E_{\mathrm{S}\mathrm{V}}\left(y_n{t}_n\right)={\left[1-y_n{t}_n\right]}_{+}$

7.1.3 Multiclass SVMs

7.1.4 SVMs for regression

目标函数为 1 2 ∑ n = 1 N { y n − t n } 2 + λ 2 ∥ w ∥ 2 \frac{1}{2} \sum_{n=1}^{N}\left\{y_{n}-t_{n}\right\}^{2}+\frac{\lambda}{2}\|\mathbf{w}\|^{2} 21​n=1∑N​{yn​−tn​}2+2λ​∥w∥2为了得到稀疏的解，引入误差函数$$E_{ϵ}(y(\mathbf{x})-t)=\{\begin{array}{ll}0,& \text{ if }|y(\mathbf{x})-t|<ϵ\\ |y(\mathbf{x})-t|-ϵ,& \text{ otherwise }\end{array}$$从而$$C\sum _{n=1}^N{E}_{ϵ}\left(y\left({\mathbf{x}}_n\right)-t_n\right)+\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$$跟之前一样，每个数据都引入两个松弛因子${\xi }_n⩾0$和${\hat{\xi }}_n⩾0$，对于误差函数不为0的点就会给予惩罚$$\begin{array}{rl}{t}_n& ⩽y\left({\mathbf{x}}_n\right)+ϵ+{\xi }_n\\ t_n& ⩾y\left({\mathbf{x}}_n\right)-ϵ-{\hat{\xi }}_n\end{array}$$

从而目标函数为$$C\sum _{n=1}^N\left({\xi }_n+{\hat{\xi }}_n\right)+\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$$约束条件为$$\begin{array}{l}{t}_n⩽y\left({\mathbf{x}}_n\right)+ϵ+{\xi }_n\\ t_n⩾y\left({\mathbf{x}}_n\right)-ϵ-{\hat{\xi }}_n\end{array}$$且松弛因子都大于或等于0。按照同样的方式可以得到其对偶形式$$\begin{array}{rl}L=& C\sum _{n=1}^N\left({\xi }_n+{\hat{\xi }}_n\right)+\frac{1}{2}\Vert \mathbf{w}{\Vert }^2-\sum _{n=1}^N\left({\mu }_n{\xi }_n+{\hat{\mu }}_n{\hat{\xi }}_n\right)\\ -& \sum _{n=1}^N{a}_n\left(ϵ+{\xi }_n+y_n-t_n\right)-\sum _{n=1}^N{\hat{a}}_n\left(ϵ+{\hat{\xi }}_n-y_n+t_n\right)\end{array}$$$$\begin{array}{l}\frac{\partial L}{\partial \mathbf{w}}=0\Rightarrow \mathbf{w}={\sum }_{n=1}^N\left(a_n-{\hat{a}}_n\right)\varphi \left({\mathbf{x}}_n\right)\\ \frac{\partial L}{\partial b}=0\Rightarrow {\sum }_{n=1}^N\left(a_n-{\hat{a}}_n\right)=0\\ \frac{\partial L}{\partial {\xi }_n}=0\Rightarrow a_n+{\mu }_n=C\\ \frac{\partial L}{\partial {\hat{\xi }}_n}=0\Rightarrow {\hat{a}}_n+{\hat{\mu }}_n=C\end{array}$$$$\begin{array}{rl}\tilde{L}(\mathbf{a},\hat{\mathbf{a}})=& -\frac{1}{2}\sum _{n=1}^N\sum _{m=1}^N\left(a_n-{\hat{a}}_n\right)\left(a_m-{\hat{a}}_m\right)k\left({\mathbf{x}}_n,{\mathbf{x}}_m\right)\\ & -ϵ\sum _{n=1}^N\left(a_n+{\hat{a}}_n\right)+\sum _{n=1}^N\left(a_n-{\hat{a}}_n\right)t_n\end{array}$$约束为$$\begin{array}{l}0⩽a_n⩽C\\ 0⩽{\hat{a}}_n⩽C\end{array}$$对于新点的预测为$$y(\mathbf{x})=\sum _{n=1}^N\left(a_n-{\hat{a}}_n\right)k\left(\mathbf{x},{\mathbf{x}}_n\right)+b$$由KKT条件$$\begin{array}{rl}{a}_n\left(ϵ+{\xi }_n+y_n-t_n\right)& =0\\ {\hat{a}}_n\left(ϵ+{\hat{\xi }}_n-y_n+t_n\right)& =0\\ \left(C-a_n\right){\xi }_n& =0\\ \left(C-{\hat{a}}_n\right){\hat{\xi }}_n& =0\end{array}$$对于$0<a_n<C$的点为支持向量，由此可以计算$b$。$$\begin{array}{rl}b& =t_n-ϵ-{\mathbf{w}}^{\mathrm{T}}\mathbf{\varphi }\left({\mathbf{x}}_n\right)\\ & =t_n-ϵ-\sum _{m=1}^N\left(a_m-{\hat{a}}_m\right)k\left({\mathbf{x}}_n,{\mathbf{x}}_m\right)\end{array}$$

7.2 Relevance Vector Machines

正定才能保证是个二次优化问题

7.2.1 RVM for regression

⽤于回归的相关向量机的形式是第3章研究过的线性模型的形式，但是先验概率有所不同，从⽽产⽣了稀疏解。其建模为$$p(t|\mathbf{x},\mathbf{w},\beta )=\mathcal{N}\left(t|y(\mathbf{x}),{\beta }^{-1}\right)$$其中$$y(\mathbf{x})=\sum _{i=1}^M{w}_i{\varphi }_i(\mathbf{x})={\mathbf{w}}^{\mathrm{T}}\mathbf{\varphi }(\mathbf{x})$$为了能跟SVM对齐具体地$$y(\mathbf{x})=\sum _{n=1}^N{w}_{n}k\left(\mathbf{x},{\mathbf{x}}_n\right)+b$$我们从更一般的情况入手，假设我们有$N$个输入$\mathbf{x}$，则似然函数为$$p(\mathbf{t}|\mathbf{X},\mathbf{w},\beta )=\prod _{n=1}^{N}p\left(t_n|{\mathbf{x}}_n,\mathbf{w},{\beta }^{-1}\right)$$我们可以在权重$\mathbf{w}$上引入先验$$p(\mathbf{w}|\mathbf{\alpha })=\prod _{i=1}^M\mathcal{N}\left(w_i|0,{\alpha }_i^{-1}\right)$$那么后验$$p(\mathbf{w}|\mathbf{t},\mathbf{X},\mathbf{\alpha },\beta )=\mathcal{N}(\mathbf{w}|\mathbf{m},\mathbf{\Sigma })$$其中$$\begin{array}{rl}\mathbf{m}& =\beta \mathbf{\Sigma }{\mathbf{\Phi }}^{\mathrm{T}}\mathbf{t}\\ \mathbf{\Sigma }& ={\left(\mathbf{A}+\beta {\mathbf{\Phi }}^{\mathrm{T}}\mathbf{\Phi }\right)}^{-1}\end{array}$$$\mathbf{A}=diag({\alpha }_i)$,对于超参数$\alpha ,\beta$，可以利用近似证据求得$$p(\mathbf{t}|\mathbf{X},\mathbf{\alpha },\beta )=\int p(\mathbf{t}|\mathbf{X},\mathbf{w},\beta )p(\mathbf{w}|\mathbf{\alpha })\mathrm{d}\mathbf{w}$$从而$$\begin{array}{rl}\ln p(\mathbf{t}|\mathbf{X},\mathbf{\alpha },\beta )& =\ln \mathcal{N}(\mathbf{t}|0,\mathbf{C})\\ & =-\frac{1}{2}\left\{N\ln (2\pi )+\ln |\mathbf{C}|+{\mathbf{t}}^{\mathrm{T}}{\mathbf{C}}^{-1}\mathbf{t}\right\}\end{array}$$其中$$\mathbf{C}={\beta }^{-1}\mathbf{I}+\mathbf{\Phi }{\mathbf{A}}^{-1}{\mathbf{\Phi }}^{\mathrm{T}}$$见3.5.令导数=0$$\begin{array}{rl}{\alpha }_i^{\text{ new }}& =\frac{{\gamma }_i}{m_i^2}\\ {\left({\beta }^{\text{ new }}\right)}^{-1}& =\frac{\Vert \mathbf{t}-\mathbf{\Phi }\mathbf{m}{\Vert }^2}{N-{\sum }_i{\gamma }_i}\end{array}$$其中${\gamma }_i=1-{\alpha }_i{\Sigma }_{ii}$。然后再迭代得到$\mathbf{w}$的后验，再得到以上估计，如此迭代直至收敛。优化后，可以发现大部分${\alpha }_i$会变得很大，从而$\mathbf{w}$的后验的均值和方差趋于0，那么这些${\mathbf{w}}_i$的值就会变为0，也就是其对应的基函数没什么作用，进而得到稀疏解。

得到了${\mathbf{\alpha }}^{\star }$ and ${\beta }^{\star }$时，预测分布为$$\begin{array}{rl}p\left(t|\mathbf{x},\mathbf{X},\mathbf{t},{\mathbf{\alpha }}^{\star },{\beta }^{\star }\right)& =\int p\left(t|\mathbf{x},\mathbf{w},{\beta }^{\star }\right)p\left(\mathbf{w}|\mathbf{X},\mathbf{t},{\mathbf{\alpha }}^{\star },{\beta }^{\star }\right)\mathrm{d}\mathbf{w}\\ & =\mathcal{N}\left(t|{\mathbf{m}}^{\mathrm{T}}\mathbf{\varphi }(\mathbf{x}),{\sigma }^2(\mathbf{x})\right)\end{array}$$其中$${\sigma }^2(\mathbf{x})={\left({\beta }^{\star }\right)}^{-1}+\varphi (\mathbf{x}{)}^{\mathrm{T}}\mathbf{\Sigma }\varphi (\mathbf{x})$$

7.2.2 Analysis of sparsity

我们之前已经注意到⾃动相关性检测的过程使得参数的⼀个⼦集趋于零。我们现在更加详细地考察相关向量机的稀疏性的原理。在这个过程中，我们会得到⼀个与之前的直接⽅法相⽐更快的最优化超参数的⽅法。
直观上说明当基函数向量与观测向量不对齐时，$\alpha$就会趋于无穷大，进而使得该基函数无效。

数学上证明，将其展开$$\begin{array}{rl}\mathbf{C}& ={\beta }^{-1}\mathbf{I}+\sum _{j̸=i}{\alpha }_j^{-1}{\phi }_j{\mathbf{\phi }}_j^{\mathrm{T}}+{\alpha }_i^{-1}{\mathbf{\phi }}_i{\mathbf{\phi }}_i^{\mathrm{T}}\\ & ={\mathbf{C}}_{-i}+{\alpha }_i^{-1}{\mathbf{\phi }}_i{\phi }_i^{\mathrm{T}}\end{array}$$其中${\phi }_i$ denotes the $i^{\text{ th }}$ column of $\Phi$，即$\left({\varphi }_i\left({\mathbf{x}}_1\right),\dots ,{\varphi }_i\left({\mathbf{x}}_N\right)\right)$；${\varphi }_n,$ which denotes the $n^{\text{ th }}$ row of $\Phi$；根据矩阵恒等式$$\begin{array}{rl}|\mathbf{C}|& =\left|{\mathbf{C}}_{-i}\Vert 1+{\alpha }_i^{-1}{\mathbf{\phi }}_i^{\mathrm{T}}{\mathbf{C}}_{-i}^{-1}{\mathbf{\phi }}_i\right|\\ {\mathbf{C}}^{-1}& ={\mathbf{C}}_{-i}^{-1}-\frac{{\mathbf{C}}_{-i}^{-1}{\phi }_i{\phi }_i^{\mathrm{T}}{\mathbf{C}}_{-i}^{-1}}{{\alpha }_i+{\phi }_i^{\mathrm{T}}{\mathbf{C}}_{-i}^{-1}{\mathbf{\phi }}_i}\end{array}$$则之前的似然函数可以改写为$$L(\mathbf{\alpha })=L\left({\mathbf{\alpha }}_{-i}\right)+\lambda \left({\alpha }_i\right)$$其中$$\lambda \left({\alpha }_i\right)=\frac{1}{2}\left[\ln {\alpha }_i-\ln \left({\alpha }_i+s_i|\right)+\frac{q_i^2}{{\alpha }_i+s_i}\right]$$上式包含了所有关于${\alpha }_i$，引入$$\begin{array}{rl}{s}_i& ={\phi }_i^{\mathrm{T}}{\mathbf{C}}_{-i}^{-1}{\phi }_i\\ q_i& ={\phi }_i^{\mathrm{T}}{\mathbf{C}}_{-i}^{-1}\mathbf{t}\end{array}$$

导数为0$$\frac{\mathrm{d}\lambda \left({\alpha }_i\right)}{\mathrm{d}{\alpha }_i}=\frac{{\alpha }_i^{-1}{s}_i^2-\left(q_i^2-s_i\right)}{2{\left({\alpha }_i+s_i\right)}^2}$$

7.2.3 RVM for classification

我们可以将相关向量机框架推⼴到分类问题，推⼴的⽅法是将权值的ARD先验应⽤到第4章研究过的概率线性分类模型上。⾸先，我们考虑⼆分类问题，⽬标变量是⼆值变量 t ∈ { 0 , 1 } t \in\{0,1\} t∈{0,1}。这个模型现在的形式为基函数的线性组合经过logistic sigmoid函数的变换，即$$y(\mathbf{x},\mathbf{w})=\sigma \left({\mathbf{w}}^{\mathrm{T}}\mathbf{\varphi }(\mathbf{x})\right)$$如果我们对权重施加一个高斯先验，那么就变成了第四章中研究过的问题，我们采用ARD先验，即对每个权重施加一个不同精度得高斯分布。由于权重的后验不再是高斯了，因此可以采用拉普拉斯近似 ln ⁡ p ( w ∣ t , α ) = ln ⁡ { p ( t ∣ w ) p ( w ∣ α ) } − ln ⁡ p ( t ∣ α ) = ∑ n = 1 N { t n ln ⁡ y n + ( 1 − t n ) ln ⁡ ( 1 − y n ) } − 1 2 w T A w + c o n s t \begin{array}{l}{\ln p(\mathbf{w} | \mathbf{t}, \boldsymbol{\alpha})=\ln \{p(\mathbf{t} | \mathbf{w}) p(\mathbf{w} | \boldsymbol{\alpha})\}-\ln p(\mathbf{t} | \boldsymbol{\alpha})} \\ {\quad=\sum_{n=1}^{N}\left\{t_{n} \ln y_{n}+\left(1-t_{n}\right) \ln \left(1-y_{n}\right)\right\}-\frac{1}{2} \mathbf{w}^{\mathrm{T}} \mathbf{A} \mathbf{w}+\mathrm{const}}\end{array} lnp(w∣t,α)=ln{p(t∣w)p(w∣α)}−lnp(t∣α)=∑n=1N​{tn​lnyn​+(1−tn​)ln(1−yn​)}−21​wTAw+const​则$$\begin{array}{rl}\nabla \ln p(\mathbf{w}|\mathbf{t},\mathbf{\alpha })& ={\mathbf{\Phi }}^{\mathrm{T}}(\mathbf{t}-\mathbf{y})-\mathbf{A}\mathbf{w}\\ \nabla \nabla \ln p(\mathbf{w}|\mathbf{t},\mathbf{\alpha })& =-\left({\mathbf{\Phi }}^{\mathrm{T}}\mathbf{B}\mathbf{\Phi }+\mathbf{A}\right)\end{array}$$其中$\mathbf{B}$为$N\times N$的对角矩阵$b_n=y_n\left(1-y_n\right)$。$$\begin{array}{rl}{\mathbf{w}}^{\star }& ={\mathbf{A}}^{-1}{\mathbf{\Phi }}^{\mathrm{T}}(\mathbf{t}-\mathbf{y})\\ \mathbf{\Sigma }& ={\left({\mathbf{\Phi }}^{\mathrm{T}}\mathbf{B}\Phi +\mathbf{A}\right)}^{-1}\end{array}$$采用拉普拉斯近似$$\begin{array}{rl}p(\mathbf{t}|\mathbf{\alpha })& =\int p(\mathbf{t}|\mathbf{w})p(\mathbf{w}|\mathbf{\alpha })\mathrm{d}\mathbf{w}\\ & \simeq p\left(\mathbf{t}|{\mathbf{w}}^{\star }\right)p\left({\mathbf{w}}^{\star }|\mathbf{\alpha }\right)(2\pi {)}^{M/2}|\mathbf{\Sigma }{|}^{1/2}\end{array}$$代入了后求导为0$$-\frac{1}{2}{\left(w_i^{\star }\right)}^2+\frac{1}{2{\alpha }_i}-\frac{1}{2}{\Sigma }_{ii}=0$$从而$${\alpha }_i^{\text{ new }}=\frac{{\gamma }_i}{{\left(w_i^{\star }\right)}^2}$$其中${\gamma }_i=1-{\alpha }_i{\Sigma }_{ii}$定义$$\hat{\mathbf{t}}=\mathbf{\Phi }{\mathbf{w}}^{\star }+{\mathbf{B}}^{-1}(\mathbf{t}-\mathbf{y})$$，则$$\ln p(\mathbf{t}|\mathbf{\alpha },\beta )=-\frac{1}{2}\left\{N\ln (2\pi )+\ln |\mathbf{C}|+(\hat{\mathbf{t}}{)}^{\mathrm{T}}{\mathbf{C}}^{-1}\hat{\mathbf{t}}\right\}$$其中$$\mathbf{C}=\mathbf{B}+\mathbf{\Phi }\mathbf{A}{\mathbf{\Phi }}^{\mathrm{T}}$$以上形式跟回归问题一样可以进行稀疏性分析，同样可以得到一个快速算法。