贝叶斯线性回归——推导及实现

• 推导
• 算法
• 代码

理论推导

贝叶斯推断

贝叶斯定理：通过观察到的数据$D$，把先验概率$p(\theta)$转化为后验概率$p(\theta \big|D)$

$$p(\theta \big|D)=\frac{p(D\big|\theta)p(\theta)}{\int p(D\big|\theta)p(\theta)d\theta}=\frac{p(D\big|\theta)p(\theta)}{p(D)}$$
显然，分母是一个归一化常数，用来确保右侧的后验概率分布是一个合理的概率密度。故有 $p(\theta \big|D)\propto p(D\big|\theta)p(\theta)$ 即后验 $\propto$ 似然 $\times$先验 。

贝叶斯线性回归

问题是这样的，不能够一次性接收到整个数据集，而是不断接收到小的数据集$D_i, i=1,2,...,n$，同时由于存储的限制不能存储已经接收到的所有数据集,每次可以处理的数据仅为$D_i$。这就导致不能对所有数据做线性回归，但是可以通过贝叶斯线性回归达到同样的效果。

第 $i$ 个数据集 $D_i$ 中有 $m$ 个训练样本，构成 $(X^{(i)}, y^{(i)})$

$$p(y^{(i)}\big| X^{(i)}, \theta)=\mathcal{N}(y^{(i)}; X^{(i)} \theta, I)\propto exp(-\frac{1}{2}(y^{(i)}-X^{(i)}\theta)^T(y^{(i)}-X^{(i)}\theta))$$
为了确定模型参数向量 $\theta$ 的后验分布
假设其先验分布

p(θ)=N(θ;μ0,Λ0)∝exp(−12(θ−μ0)TΛ</