机器学习算法笔记：贝叶斯线性回归

贝叶斯线性回归

线性回归当噪声为高斯分布的时候，最小二乘损失导出的结果相当于对概率模型应用 MLE，引入参数先验分布是高斯分布，那么 MAP的结果相当于岭回归的正则化，如果先验是拉普拉斯分布，那么相当于 Lasso 的正则化。

利用贝叶斯方法来求解参数的后验分布，线性回归的模型假设为：
$$\begin{array}{r}f(x)=w^{T}x\\ y=f(x)+\epsilon \\ \epsilon \sim \mathcal{N}(0,{\sigma }^2)\end{array}$$

在贝叶斯方法中，需要解决推断和预测两个问题。

推断

引入高斯先验：
$$p(w)=\mathcal{N}(0,{\Sigma }_p)$$

对参数的后验分布进行推断：
$$p(w|X,Y)=\frac{p(w,Y|X)}{p(Y|X)}=\frac{p(Y|w,X)p(w|X)}{\int p(Y|w,X)p(w|X)dw}$$

由于 $X$ 对 $w$（先验）无影响$\to$ $p(w|X)=p(w)$，代入先验得到： $$p(w|X,Y)\propto \prod _{i=1}^N\mathcal{N}(y_i|w^T{x}_i,{\sigma }^2)\cdot \mathcal{N}(0,{\Sigma }_p)$$

由于高斯分布的自共轭性质，可以得到后验分布也是一个高斯分布，上式右边第一项：
$$\begin{array}{rl}\prod _{i=1}^N\mathcal{N}(y_i|w^T{x}_i,{\sigma }^2)& =\frac{1}{(2\pi {)}^{N/2}{\sigma }^N}\exp (-\frac{1}{2{\sigma }^2}\sum _{i=1}^N(y_i-w^T{x}_i{)}^2)\\ & =\frac{1}{(2\pi {)}^{N/2}{\sigma }^N}\exp (-\frac{1}{2}(Y-\underset{\mu }{\underbrace{Xw}}{)}^T(\underset{{\Sigma }^{-1}}{\underbrace{{\sigma }^{-2}\mathbb{I}}})(Y-Xw))\\ & =\mathcal{N}(Xw,{\sigma }^2\mathbb{I})\end{array}$$

所以：
$$\begin{array}{rl}p(w|X,Y)& \propto \mathcal{N}(Xw,{\sigma }^2\mathbb{I})\cdot \mathcal{N}(0,{\Sigma }_p)\\ & \propto \underset{\text{只关心指数部分}}{\underbrace{\exp (-\frac{1}{2{\sigma }^2}(Y-Xw{)}^T{\sigma }^{-2}\mathbb{I}(Y-Xw)-\frac{1}{2}{w}^T{\Sigma }_p^{-1}w)}}\\ & {\Downarrow }_{\text{转换成标准形式}}\\ & \exp (-\frac{1}{2}(\underset{\text{二次项}}{\underbrace{X^T{\Sigma }_w^{-1}X}}-\underset{\text{一次项}}{\underbrace{2{\mu }_w^T{\Sigma }^{-1}X}}+const))\end{array}$$

将上式转换成标准形式就可以得到对应的 ${\mu }_w$ 和 ${\Sigma }_w$ ，其对应关系如下：
$$\begin{array}{rl}& \exp (-\frac{1}{2}(X-\mu {)}^T{\Sigma }^{-1}(X-\mu )){}_{\text{标准形}}\\ & =\exp (-\frac{1}{2}(X^T{\Sigma }^{-1}X-2{\mu }^T{\Sigma }^{-1}X+const))\end{array}$$

采用配方的方式来得到最终的分布：$\mathcal{N}({\mu }_w,{\Sigma }_w)$，提取二次项：
$$\begin{gathered} -\frac{1}{2{\sigma }^2}{w}^T{X}^{T}Xw-\frac{1}{2}{w}^T{\Sigma }_p^{-1}w \\ \Rightarrow {\Sigma }_w^{-1}={\sigma }^{-2}{X}^{T}X+{\Sigma }_p^{-1}=A \end{gathered}$$

一次项： $$\frac{1}{2{\sigma }^2}2Y^{T}Xw={\sigma }^{-2}{Y}^{T}Xw$$ 于是： $$\begin{gathered} {\mu }_w^T{\Sigma }_w^{-1}={\sigma }^{-2}{Y}^{T}X \\ \Rightarrow {\mu }_w={\sigma }^{-2}{A}^{-1}{X}^{T}Y \end{gathered}$$

预测

给定一个 $x^{\ast }$，求解 $y^{\ast }$，所以 $f(x^{\ast })=x^{\ast T}w$，代入参数后验，有 $x^{\ast T}w\sim \mathcal{N}(x^T{\mu }_w,x^{\ast T}{\Sigma }_w{x}^{\ast })$，添上噪声项：
$$\begin{array}{rl}p(y^{\ast }|X,Y,x^{\ast })& ={\int }_{w}p(y^{\ast }|w,X,Y,x^{\ast })p(w|X,Y,x^{\ast })dw\\ & ={\int }_{w}p(y^{\ast }|w,x^{\ast })p(w|X,Y)dw\\ & =\mathcal{N}(x^{\ast T}{\mu }_w,x^{\ast T}{\Sigma }_w{x}^{\ast }+{\sigma }^2)\end{array}$$

参考文献

【1】贝叶斯线性回归
【2】贝叶斯统计观点下的拉普拉斯平滑
【3】伯努利分布、二项分布和Beta分布，从贝叶斯观点出发
【4】朴素贝叶斯实战篇之新浪新闻分类