机器学习理论与实战（十七）概率图模型05（极家族函数的引入）

概率图模型中极家族（exponential families）函数的引入        

       回顾概率图模型03中的内容，我们用联合树算法进行消息传递，本质是在求解某个变量的分布或者条件分布，求解一个分布不单纯局限在联合树算法上，还有其他算法，比如均值场。这些图模型中的变分推理方法都有一个统一的理论框架，都是依靠凸分析和极家族函数来支撑起来的，各种推理方法的本质其实都是在极家族函数的均值参数(Mean Parameters)和自然参数(Canonical Parameters)之间来回映射。下面就先来看下为什么概率图模型中的变分推理会有极家族函数。

       原则其实很简单，给定一堆数据，我们可以计算出数据的均值和方差（这些被称为经验一阶和二阶原点矩，或者经验数学期望）等统计量信息，根据这些统计量信息我们要找到一个分布P，使得分布P的矩信息和经验矩匹配，找到的分布P我们称为经验分布(empirical distribution)。下面转成数学语言：

      对于一个简单的随机变量X，我们得到n个相互独立的样本，根据这n个样本，我们计算经验数学期望，如（公式一）所示：

（公式一）

        其中 ,比如 时，就对应一、二阶矩。要注意矩还有更高阶的，所以集合  I 很有很多元素，也就是说（公式一）有对应多的经验数学期望。现在的任务就是假定一个分布P，那么它的期望计算公式如（公式二）所示：