两个高斯分布乘积的推导及解释，BPMF 公式推导

两个高斯分布乘积服从高斯分布
BPMF模型中公式推导
高斯先验+ 高斯似然=高斯后验分布
然而，很多时候， 化简成 标准的形式是困难的。
本文考虑从一阶导数、二阶导数角度获得参数$\mu,\Lambda=\frac{1}{\sigma^2}$.

1. 两个高斯分布的乘积

假设$f(x) \sim \mathcal N(\mu_1,\Lambda_1^{-1}) ,g(x) \sim \mathcal N(\mu_2, \Lambda_2^{-1})$都是高斯分布，即：

$$f(x) = \frac{\sqrt \Lambda_1}{\sqrt{2\pi}}\exp^{-\frac{\Lambda_1(x-\mu_1)^2}{2}}\\g(x) = \frac{\sqrt \Lambda_2}{\sqrt{2\pi}}\exp^{-\frac{\Lambda_2(x-\mu_2)^2}{2}}$$

令$h(x) =f(x)g(x)$, 则$h(x)$也是高斯分布；正态分布的共轭先验是正态分布；

$$h(x)=f(x)g(x)=\frac{\sqrt {\Lambda_1 \Lambda_2}}{2\pi}\exp^{-\frac{\Lambda_1(x-\mu_1)^2}{2}-\frac{\Lambda_2(x-\mu_2)^2}{2}}$$
现在，我们想要获得 $f(x)$的标准型，即获得其均值 $\mu$，方差 $\sigma^2=\Lambda^{-1}$.

(1). 直接通过配方，化简：
这是一种常用的方法，但是多数时候化简挺复杂的；
最终的结果如下：

$$h(x) \sim \mathcal N(\mu,\Lambda^{-1})\\ \mu = {\sigma_2^2}=\frac{\mu_1\sigma_2^2+\mu_2\sigma_1^2}{\sigma_1^2 \sigma_2^2}=\frac{\mu_1\Lambda_1+\mu_2\Lambda_2}{\Lambda_1+\Lambda_2}\\ \Lambda=\frac{1}{\sigma^2}=\frac{1}{\sigma_1^2}+\frac{1}{\sigma_2^2}=\Lambda_1+\Lambda_2$$
(2). 通过求导方法获得：

正态分布是一个抛物线，开口向下，均值处获得峰值；故$h(x)^{'}=0$,可以的获得均值；
曲线的弯曲程度由曲率决定，曲率公式:

$$\mathcal K=\frac{|y^{''}|}{(1+y^{'})^{3/2}}$$
所以，对于正态函数而言， 在$\mu$处的曲率与$\sigma^2$成反比，恰好等于其二阶导数；值越大，说明曲线越平缓；越小，数据越集中在均值周围，曲线越陡峭；
因此二阶导数反映了其变化程度，协助我们获得精确度 $\Lambda$.

通过以上分析，计算$\mu,\Lambda$如下：

$$h(x)^{'} =C * \exp^{L} * L^{'} \\即：-(\Lambda_1+\Lambda_2)x+\mu_1\Lambda_1+\mu_2\Lambda_2=0\\ \mu =\frac{\mu_1\Lambda_1+\mu_2\Lambda_2}{\Lambda_1+\Lambda_2}$$
$$h(\mu)^{''}=C * \exp^L *(L^{''})=c * L^{''} =-c*(\Lambda_1+\Lambda_2)\\ 则，\sigma^{-2} = \Lambda = \Lambda_1+\Lambda_2$$

---

2. BPMF 公式推导

---

回顾PMF模型： 假设$U,V$及误差都服从高斯分布；最大log-后验概率可得到模型最终的目标函数；我们发现最终的目标函数等价于带L2范数的均方误差。
但是PMF中涉及到超参数太多，我们需要多次交叉验证获得；这个是困难的，需要很强的调参技巧。
针对PMF的参数问题，BPMF提出可以利用贝叶斯推测来解决。假设参数的先验分布服从高斯分布，最后利用MCMC的gibbs 采样获得超参数及U，V。

假设$U \sim \mathcal N(\mu_u,\Lambda_u^{-1}),V \sim \mathcal N(\mu_v,\Lambda_v^{-1}),R_{i,j}-U_i^TV_j \sim \mathcal N(0,\alpha^{-1})$. 同时参数$\Omega=\{ \mu,\Lambda \} \sim \mathcal N(w_0,\sigma_0^{-2})$.
现在，我们可以获得参数$\Omega$的后验概率（有了后验概率，就可以使用gibbs 采样器进行采样）

最关键的是我们获得$U_i$的后验概率：
现在，

$$R_i,j - U_i^TV_j \sim \mathcal N(0,\alpha^{-1})\\ 则，R_{i,j} \sim \mathcal N(U_i^TV_j,\alpha^{-1})\\ p(R_i|U_i,V,\alpha)=\prod_j^M \frac{\sqrt{\alpha}}{\sqrt{2\pi}} \exp^{ -\frac{\alpha(R_i,j - U_i^TV_j)^2}{2}} \propto f(U_i)=C * \exp^{\frac{-\alpha}{2}\sum_j^M(R_{i,j}-U_i^TV_j)^2}\\ f(U_i)\sim \mathcal N(\mu_1,\Lambda_1^{-1})\\ 根据f(U_i)^{'}=0 ,得到\mu_1=(\alpha R_iV^T)(\alpha VV^T)^{-1},\\ 根据f(U_i)^{''}，得到 \Lambda_1 = \alpha VV^T.$$

* 重新定义问题：需要估计的参数是$U_i$: *
现在已知似然函数 $p(R_i|U_i,V,\alpha)$, 先验函数$p(U_i|\mu_0,\Lambda_0^{-1})$.**
后验概率 $\sim$先验概率* 似然函数：

$$p(U_i|R_i,V,\alpha) \propto p(U_i|\mu_0,\Lambda_0)p(R_i|U_i,V,\alpha)\\ \propto C*\exp^{-\frac{\alpha \sum_j^M(R_i,j-u_i^TV_j)^2}{2}-\frac{\Lambda_0(U_i-\mu_0)^2}{2}}\\ \sim \mathcal N(\mu_1,\Lambda_1^{-1}) \mathcal N(\mu_0,\Lambda_0^{-1}) \sim \mathcal N(\mu,\Lambda^{-1})$$

其中 参数$\mu,\Lambda$的解法有两种，（1）直接利用原始一阶导数、二阶导数求解；（2）第一节，我们已经获得两个高斯分布的后验参数，现在可以直接带入标准公式获得：

$$\mu =(\alpha VV^T+\Lambda_2)^{-1}(R_iV\alpha+\Lambda_0\mu_0)\\ \Lambda = \alpha VV^T+\Lambda_0$$

同理，我们获得V的后验概率，最后利用gibbs采样即可。

1