张志华 统计机器学习

统计机器学习-张志华-例子-Bayesian Linear Regression

本节贝叶斯线性回归推到主要是根据 张志华 统计机器学习 p39课来的。
但是其课中大部分概率p省略了X，最初的时候不知道这一点，(这一点可以看Bishop-Pattern-Recognition-and-Machine-Learning-2006.pdf的书中有提到）
所以本节的推导实际上有些问题。所以贴出一个无问题的纸质推导（暂时没时间整理成电子的）：
无问题的纸质贝叶斯线性回归推导: （完全不省略X)

视频课:
Bayesian Linear Models
Bayesian Classification

以下笔记所在pdf

问题描述:
$y_i={x_i}^{T}b+{ϵ}_i$
$y_i\in \mathbb{R}$
${x_i}^T\in {\mathbb{R}}^p$
$D=\{(x_1,y_1),(x_2,y_2),...,(x_i,y_i),...,(x_n,y_n)\}$
假定:${ϵ}_i\sim \mathcal{N}(0,{\sigma }^2)$
这里实际上描述了 $p(D|b,{\sigma }^2)$是个高斯分布 即: $p(D|b,{\sigma }^2)={\prod }_{i=1}^{n}p({ϵ}_i|b,{\sigma }^2)$

$p(b,{\sigma }^2)=p(b|{\sigma }^2)p({\sigma }^2)$
给分布:

$p(b|{\sigma }^2)=\mathcal{N}(m,{\sigma }^{2}v)$
$p({\sigma }^2)=InverseGamma(a,b)$

演算:
$p(b,{\sigma }^2)=\frac{b^a{\sigma }^{2(-a+\frac{p}{2}+1)}}{(2\pi {)}^{\frac{p}{2}}|v{|}^{\frac{1}{2}}\Gamma (a)}{e}^{-((b-m{)}^T{v}^{-1}(b-m)+2b)/2v^2}$

$p(D|b,{\sigma }^2)$

应该让$p(b,{\sigma }^2|D)$和$p(b|{\sigma }^2)$有相同的形式，即共轭：

$p(b,{\sigma }^2|D)=\mathcal{N}(\hat{m},\hat{v})InverseGamma(\hat{a},\hat{b})$ 　　　　　　　 ($p(b,{\sigma }^2|D)$的共轭样子式)

$p(b,{\sigma }^2|D)$ 是 Gibbs采样中 提到的 $f(b,{\sigma }^2)$

p ( b , σ 2 ∣ D ) = p ( D ∣ b , σ 2 ) p ( b , σ 2 ) p ( D ) p(b,\sigma^2|D)=\frac{p(D|b,\sigma^2) p(b,\sigma^2)}{p(D)} p(b,σ2∣D)=p(D)p(D∣b,σ