- 推导
- 算法
- 代码
理论推导
贝叶斯推断
贝叶斯定理:通过观察到的数据 D ,把先验概率
p(θ∣∣D)=p(D∣∣θ)p(θ)∫p(D∣∣θ)p(θ)dθ=p(D∣∣θ)p(θ)p(D)
显然,分母是一个归一化常数,用来确保右侧的后验概率分布是一个合理的概率密度。故有 p(θ∣∣D)∝p(D∣∣θ)p(θ) 即后验 ∝ 似然 × 先验 。
贝叶斯线性回归
问题是这样的,不能够一次性接收到整个数据集,而是不断接收到小的数据集 Di,i=1,2,...,n ,同时由于存储的限制不能存储已经接收到的所有数据集,每次可以处理的数据仅为 Di 。这就导致不能对所有数据做线性回归,但是可以通过贝叶斯线性回归达到同样的效果。
第 i 个数据集
p(y(i)∣∣X(i),θ)=N(y(i);X(i)θ,I)∝exp(−12(y(i)−X(i)θ)T(y(i)−X(i)θ))
为了确定模型参数向量 θ 的后验分布
假设其先验分布
p(θ)=N(θ;μ0,Λ0)∝exp(−12(θ−μ0)TΛ</