线性分类模型(四)——贝叶斯观点下的Logistic回归

本文首发于我的个人博客Suixin’s Blog
原文: https://suixinblog.cn/2018/10/linear-classification4.html　　作者: Suixin

拉普拉斯近似

目标：因为待近似的分布$p(z\text{z}z)$不是高斯分布，故寻找一个高斯近似$q(z\text{z}z)$，它的中心位于$p(z\text{z}z)$的众数的位置。
思路：将待近似的分布$p(z\text{z}z)$在众数${z\text{z}z}_0$做泰勒展开，去掉三阶项以及更高阶。

假设待近似分布为$M$维$p(z\text{z}z)=\frac{f(z\text{z}z)}{Z}$，在众数${z\text{z}z}_0$处展开，有
$$\ln f(z\text{z}z)\simeq \ln f({z\text{z}z}_0)-\frac{1}{2}(z\text{z}z-{z\text{z}z}_0{)}^{\top }A(z\text{z}z-{z\text{z}z}_0)$$
其中，$M\times M$的Hessian矩阵$A=-\nabla \nabla \ln f(z\text{z}z){|}_{z\text{z}z={z\text{z}z}_0}$。两边同取指数，有
f ( z ) ≃ f ( z 0 ) exp ⁡ { − 1 2 ( z − z 0 ) ⊤ A ( z − z 0 ) } f(\pmb{z})\simeq f(\pmb{z}_0)\exp\{-\frac{1}{2}(\pmb{z}-\pmb{z}_0)^\top A(\pmb{z}-\pmb{z}_0)\} f(zzz)≃f(zzz0​)exp{−21​(zzz−zzz0​)⊤A(zzz−zzz0​)}
分布$q(z\text{z}z)$正比于$f(z\text{z}z)$，因此
q ( z ) = ∣ A ∣ 1 2 ( 2 π ) M 2 exp ⁡ { − 1 2 ( z − z 0 ) ⊤ A ( z − z 0 ) } = N ( z ∣ z 0 , A − 1 ) q(\pmb{z})=\frac{|A|^\frac{1}{2}}{(2\pi )^\frac{M}{2}}\exp\{-\frac{1}{2}(\pmb{z}-\pmb{z}_0)^\top A(\pmb{z}-\pmb{z}_0)\}=\mathscr{N}(\pmb{z}|\pmb{z}_0,A^{-1}) q(zzz)=(2π)2M​∣A∣21​​exp{−21​(zzz−zzz0​)⊤A(zzz−zzz0​)}=N(zzz∣zzz0​,A−1)
其中，这个高斯分布well-define的前提为$A$是正定的，即驻点${z\text{z}z}_0$必须为一个局部极大值。在实际应用拉普拉斯近似时需计算众数，一般通过数值优化算法得到。
缺点： 对于多峰问题会给出较差的结果。
优点： 在数据点较多的情况下，会更有用。

贝叶斯Logistic回归

Logistic回归不能进行精确的贝叶斯推断的原因：后验分布为先验分布与似然函数的乘积的归一化，而似然函数为一系列sigmoid函数的乘积。

对后验分布做拉普拉斯近似

假设参数$w\text{w}w$有高斯先验
$$p(w\text{w}w)=\mathcal{N}(w\text{w}w|{m\text{m}m}_0,S_0)$$
其中，${m\text{m}m}_0$和$S_0$为固定的超参数。$w\text{w}w$的后验分布为
$$p(w\text{w}w|\text{t})\propto p(w\text{w}w)p(\text{t}|w\text{w}w)$$
化简可得对数后验为
ln ⁡ p ( w ∣ t ) = − 1 2 ( w − m 0 ) ⊤ S 0 − 1 ( w − m 0 ) + ∑ n = 1 N { t n ln ⁡ y n + ( 1 − t n ) ln ⁡ ( 1 − y n ) } + C o n s t a n t \ln p(\pmb{w}|\textbf{t})=-\frac{1}{2}(\pmb{w}-\pmb{m}_0)^\top S_0^{-1}(\pmb{w}-\pmb{m}_0)+\sum_{n=1}^N\{t_n\ln y_n+(1-t_n)\ln(1-y_n)\}+Constant lnp(www∣t)=−21​(www−mmm0​)⊤S0−1​(www−mmm0​)+n=1∑N​{tn​lnyn​+(1−tn​)ln(1−yn​)}+Constant
其中，符号与上一篇文章一致。现在，只需极大化后验概率分布，求出MAP解${w\text{w}w}_{MAP}$，再根据前面的拉普拉斯近似结果可得后验分布的高斯近似为
$$q(w\text{w}w)=\mathcal{N}(w\text{w}w|{w\text{w}w}_{MAP},S_N)$$
其中，
$$S_N^{-1}=-\nabla \nabla \ln p(w\text{w}w|\text{t})=S_0^{-1}+\sum _{n=1}^N{y}_n(1-y_n){\varphi \text{ϕ}\varphi }_n{\varphi \text{ϕ}\varphi }_n^{\top }$$

预测分布

给定一个新的特征向量$\varphi (x\text{x}x)$，类别$C_1$的预测分布可对后验概率$p(w\text{w}w|\text{t})$积分得到
$$p(C_1|\varphi \text{ϕ}\varphi ,\text{t})=\int p(C_1|\varphi \text{ϕ}\varphi ,w\text{w}w)p(w\text{w}w|\text{t})dw\text{w}w\simeq \int \sigma ({w\text{w}w}^{\top }\varphi \text{ϕ}\varphi )q(w\text{w}w)dw\text{w}w$$
具体求解预测分布过程见参考4.5.2。

参考

“Pattern Recognition and Machine Learning”