假设u~N(0, 1), X|u ~ N(u, 1)$,我们一起来推导 u的 posterior(p(u|X))

假设 μ ∼ N ( 0 , 1 ) , X ∣ μ ∼ N ( μ , 1 ) \mu \sim N(0, 1), X|\mu \sim N(\mu, 1) μN(0,1),XμN(μ,1),我们一起来推导 μ \mu μ 的 posterior( p ( μ ∣ X ) p(\mu|X) p(μX))
说明: X ∣ μ X|\mu Xμ表示: ( x 1 , x 2 , . . . , x n ) ∣ μ (x_1,x_2,...,x_n)|\mu (x1,x2,...,xn)μ x i x_i xi相互独立

p ( μ ∣ X ) = p ( X ∣ μ ) p ( μ ) ∫ p ( μ ∣ X ) p ( X ) d μ p(\mu|X) =\frac{p(X|\mu)p(\mu)}{\int p(\mu|X)p(X)d\mu} p(μX)=p(μX)p(X)dμp(Xμ)p(μ)

分母和 μ \mu μ无关,则上式正比于

∝ p ( X ∣ μ ) p ( μ ) \propto p(X|\mu)p(\mu) p(Xμ)p(μ)

∝ p ( x 1 , x 2 , . . . , x n ∣ μ ) p ( μ ) \propto p(x_1,x_2,...,x_n|\mu)p(\mu) p(x1,x2,...,xnμ)p(μ)

由于 x i x_i xi相互独立,则可展开成连乘的形式:

∝ 1 2 π e x p ( − ∑ i ( x i − μ ) 2 2 ) e x p ( − μ 2 2 ) \propto \frac{1}{\sqrt{2\pi}}exp\left(-\frac{\sum_i(x_i-\mu)^2}{2}\right)exp(-\frac{\mu^2}{2}) 2π 1exp(2i(xiμ)2)exp(2μ2)

∝ e x p ( − ∑ i ( x i 2 − 2 x i μ + μ 2 ) + μ 2 2 ) \propto exp\left(-\frac{\sum_i(x_i^2-2x_i\mu+\mu^2)+\mu^2}{2}\right) exp(2i(xi22xiμ+μ2)+μ2)

∝ e x p ( − ( N + 1 ) μ 2 − 2 μ ∑ i x i + ∑ i x i 2 2 ) \propto exp\left(-\frac{(N+1)\mu^2-2\mu\sum_ix_i+\sum_ix_i^2}{2}\right) exp(2(N+1)μ22μixi+ixi2)

∝ e x p ( − μ 2 − 2 ∑ i x i N + 1 μ + ∑ i x i 2 N + 1 2 N + 1 ) \propto exp\left(-\frac{\mu^2-\frac{2\sum_ix_i}{N+1}\mu+\frac{\sum_ix_i^2}{N+1}}{\frac{2}{N+1}}\right) exp(N+12μ2N+12ixiμ+N+1ixi2)

∝ e x p ( − ( μ − ∑ i x i N + 1 ) 2 2 N + 1 ) \propto exp\left(-\frac{(\mu-\frac{\sum_ix_i}{N+1})^2}{\frac{2}{N+1}}\right) exp(N+12(μN+1ixi)2)

所以, p ( μ ∣ X ) ∼ N ( ∑ i x i N + 1 , 1 ( N + 1 ) 2 ) p(\mu|X)\sim N(\frac{\sum_ix_i}{N+1},\frac{1}{(N+1)^2}) p(μX)N(N+1ixi,(N+1)21),也是正态分布。

p ( X ∣ μ ) , p ( μ ∣ X ) p(X|\mu),p(\mu|X) p(Xμ),p(μX)分布均为正态分布,称为conjugate Priors.

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值