两个高斯分布乘积服从高斯分布
BPMF模型中公式推导
高斯先验+ 高斯似然=高斯后验分布
然而,很多时候, 化简成 标准的形式是困难的。
本文考虑从一阶导数、二阶导数角度获得参数 μ,Λ=1σ2 μ , Λ = 1 σ 2 .
1. 两个高斯分布的乘积
假设
f(x)∼N(μ1,Λ−11),g(x)∼N(μ2,Λ−12)
f
(
x
)
∼
N
(
μ
1
,
Λ
1
−
1
)
,
g
(
x
)
∼
N
(
μ
2
,
Λ
2
−
1
)
都是高斯分布,即:
令
h(x)=f(x)g(x)
h
(
x
)
=
f
(
x
)
g
(
x
)
, 则
h(x)
h
(
x
)
也是高斯分布;正态分布的共轭先验是正态分布;
现在,我们想要获得 f(x) f ( x ) 的标准型,即获得其均值 μ μ ,方差 σ2=Λ−1 σ 2 = Λ − 1 .
(1). 直接通过配方,化简:
这是一种常用的方法,但是多数时候化简挺复杂的;
最终的结果如下:
(2). 通过求导方法获得:
正态分布是一个抛物线,开口向下,均值处获得峰值;故 h(x)′=0 h ( x ) ′ = 0 ,可以的获得均值;
曲线的弯曲程度由曲率决定,曲率公式:K=|y′′|(1+y′)3/2 K = | y ″ | ( 1 + y ′ ) 3 / 2
所以,对于正态函数而言, 在 μ μ 处的曲率与 σ2 σ 2 成反比,恰好等于其二阶导数;值越大,说明曲线越平缓;越小,数据越集中在均值周围,曲线越陡峭;
因此二阶导数反映了其变化程度,协助我们获得精确度 Λ Λ .
通过以上分析,计算
μ,Λ
μ
,
Λ
如下:
2. BPMF 公式推导
回顾PMF模型: 假设 U,V U , V 及误差都服从高斯分布;最大log-后验概率可得到模型最终的目标函数;我们发现最终的目标函数等价于带L2范数的均方误差。
但是PMF中涉及到超参数太多,我们需要多次交叉验证获得;这个是困难的,需要很强的调参技巧。
针对PMF的参数问题,BPMF提出可以利用贝叶斯推测来解决。假设参数的先验分布服从高斯分布,最后利用MCMC的gibbs 采样获得超参数及U,V。
假设
U∼N(μu,Λ−1u),V∼N(μv,Λ−1v),Ri,j−UTiVj∼N(0,α−1)
U
∼
N
(
μ
u
,
Λ
u
−
1
)
,
V
∼
N
(
μ
v
,
Λ
v
−
1
)
,
R
i
,
j
−
U
i
T
V
j
∼
N
(
0
,
α
−
1
)
. 同时参数
Ω={μ,Λ}∼N(w0,σ−20)
Ω
=
{
μ
,
Λ
}
∼
N
(
w
0
,
σ
0
−
2
)
.
现在,我们可以获得参数
Ω
Ω
的后验概率(有了后验概率,就可以使用gibbs 采样器进行采样)
最关键的是我们获得
Ui
U
i
的后验概率:
现在,
* 重新定义问题:需要估计的参数是
Ui
U
i
: *
现在已知似然函数
p(Ri|Ui,V,α)
p
(
R
i
|
U
i
,
V
,
α
)
, 先验函数
p(Ui|μ0,Λ−10)
p
(
U
i
|
μ
0
,
Λ
0
−
1
)
.**
后验概率
∼
∼
先验概率* 似然函数:
其中 参数
μ,Λ
μ
,
Λ
的解法有两种,(1)直接利用原始一阶导数、二阶导数求解;(2)第一节,我们已经获得两个高斯分布的后验参数,现在可以直接带入标准公式获得:
同理,我们获得V的后验概率,最后利用gibbs采样即可。
1