因子分析的边缘分布推导——CVMLI Prince读书随笔第7章

模型为
$$\begin{array}{rl}P(x|h)& =\mathcal{N}(x|\mu +\Phi h,\Sigma )\\ P(h)& =\mathcal{N}(h|0,I)\end{array}$$
其中$h$的维度为$k$，$x$的维度为$d(d>k)$，$\Sigma$ 是对角阵，求$P(x)$.
这是高斯线性模型！！高斯线性模型！！高斯线性模型！！
别犹豫！！！直接套结论。结果为$\Phi {\Phi }^T+\Sigma$.
之前居然没想起来这个，手算了半天。

---

以下为之前手算的.
$$\begin{array}{rl}P(x)& =\int \mathcal{N}(x|\mu +\Phi h,\Sigma )\mathcal{N}(h|0,I)\\ =& C_1\int exp\left\{-\frac{1}{2}(x-\mu -\Phi h{)}^T{\Sigma }^{-1}(x-\mu -\Phi h)\right\}exp\left\{-\frac{1}{2}{h}^{T}h\right\}dh\\ =& C_2\int exp\left\{-\frac{1}{2}[(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )-2(x-\mu {)}^T{\Sigma }^{-1}\Phi h+h^T({\Phi }^T{\Sigma }^{-1}\Phi +I)h]\right\}dh\\ =& C_3\exp \left\{-\frac{1}{2}[(x-\mu {)}^T[{\Sigma }^{-1}-{\Sigma }^{-1}\Phi ({\Phi }^T{\Sigma }^{-1}\Phi +I{)}^{-1}{\Phi }^T{\Sigma }^{-1}](x-\mu )]\right\}\\ & \times \int exp\left\{-\frac{1}{2}[h-({\Phi }^T{\Sigma }^{-1}\Phi +I{)}^{-1}{\Phi }^T{\Sigma }^{-1}(x-\mu ){]}^T({\Phi }^T{\Sigma }^{-1}\Phi +I)[h-({\Phi }^T{\Sigma }^{-1}\Phi +I{)}^{-1}{\Phi }^T{\Sigma }^{-1}(x-\mu )]\right\}dh\end{array}$$
其中$C_1,C_2,C_3$表示$x,h$无关的系数。注意到把$x$有关而$h$无关的项提到积分外，积分内是关于$h$的一个高斯分布。积分后得到
$$\begin{array}{r}{C}_4\exp \left\{-\frac{1}{2}[(x-\mu {)}^T[{\Sigma }^{-1}-{\Sigma }^{-1}\Phi ({\Phi }^T{\Sigma }^{-1}\Phi +I{)}^{-1}{\Phi }^T{\Sigma }^{-1}](x-\mu )]\right\}\end{array}$$
这是一个高斯分布，均值为$\mu$，方差为
$$[{\Sigma }^{-1}-{\Sigma }^{-1}\Phi ({\Phi }^T{\Sigma }^{-1}\Phi +I{)}^{-1}{\Phi }^T{\Sigma }^{-1}{]}^{-1}\text{\hspace{1em}(1)}$$
这里套用Sherman-Morrison-Woodbury恒等式（矩阵求逆引理），式(1)化为$\Phi {\Phi }^T+\Sigma$

• Sherman-Morrison-Woodbury恒等式：
  考虑$A\in {\mathbb{R}}^{d\times d},B\in {\mathbb{R}}^{k\times d},C\in {\mathbb{R}}^{k\times k}$，其中$A,C$正定对称，则有
  $$(A^{-1}+B^T{C}^{-1}B{)}^{-1}=A-A{B}^T(BA{B}^T+C{)}^{-1}BA$$
  该式的另一个用处是降低求逆维度，可以把左侧对$d$维求逆改为右侧对$k$维求逆，如果$d>k$的话，则有助于求逆

上述恒等式和舒尔补恒等式也很有关系。