贝叶斯线性回归及最大后验估计

---

---

贝叶斯推断

贝叶斯定理：通过观察到的数据$D$，把先验概率$p(θ)$转化为后验概率$p(θ∣D)$

$p(θ∣D)=\frac{p(D∣θ)p(θ)}{∫p(D∣θ)p(θ)dθ}=\frac{p(D∣θ)p(θ)}{p(D)}$

显然，分母是一个归一化常数。故有$p(θ∣D)∝p(D∣θ)p(θ)$ 即$后验 ∝ 似然 ×先验$。

---

---

贝叶斯线性回归

问题是这样的，不能够一次性接收到整个数据集，而是不断接收到小的数据集$Di,i=1,2,...,n$，同时由于存储的限制不能存储已经接收到的所有数据集,每次可以处理的数据仅为$Di$。这就导致不能对所有数据做线性回归，但是可以通过贝叶斯线性回归达到同样的效果。

第$i$个数据集$D_{i}$中有$m$ 个训练样本，构成 $(X^{(i)},y^{(i)})$

$p(y^{(i)}∣X^{(i)},θ)=\mathcal{N}(y^{(i)};X^{(i)}θ,I)∝exp(−\frac{1}{2}(y^{(i)}−X^{(i)}θ)^{T}(y^{(i)}−X^{(i)}θ))$

为了确定模型参数向量 $θ$的后验分布
假设其先验分布

p(θ)=N(θ;μ0,Λ0)∝exp(−12(θ−μ0)TΛ−10(θ−