变分贝叶斯应用于高斯混合模型

    《Pattern Recognition and Machine Learning（模式识别与机器学习）》这本书有配套的matlab的程序（网址为prml源码）。第十章包括变分贝叶斯方法计算高斯混合模型的详细介绍。另外，源码里面包括变分贝叶斯计算高斯混合模型的例子。
    其中的变分贝叶斯方法较为复杂，尤其是关于变分后验概率分布（10.59）式中的几个参数的说明包括（10.60）到（10.62），网上的推导很少。

    下面给一个（10.60）到（10.62）式简略的证明：
    1.根据（10.54）式

    从10.54可以看出，$q^{\ast }({\mu }_k,{\wedge }_k)$（这里只取了1–K中的一项）只与第二项和第四项有关系。第二项中有

    第四项中有

    其中${\wedge }_k$为精度矩阵，是协方差的逆矩阵。把对数去掉之后可以得到$q^{\ast }({\mu }_k,{\wedge }_k)$的表达式（这里只取了1–K中的一项），是(10.40)式与（10.38）式的乘积。只写了自然常识指数部分的推导，其它项的稍微简单一些。推导过程是简化的标量格式的。下面是10.40式中正态分布部分与10.38式乘积结果的自然常识指数部分：

    对第一和第二项配平方之后就可以得到10.59中的正态分布部分，格式一致。(10.61)式得证。
    2. 下面看看配方后的剩余项（下面省去了前面的系数$\frac{1}{2}{\wedge }_k$）：

    以及

    可以看出这个式子再乘以10.40式中的wishart分布部分基本和书上的完全一致（多了个m0的项）。(10.62)式得证。