factor graph，potential function，Template models

        factor是对于variables的某种combination的fitness。在BN中factor就是conditional probability distribution(CPD)；但factor并不总对应着某种概率（当然也不一定取0~1），比如说在MRF中。和数据库table的操作类似，factor上的基本操作有factor product ,factor marginalization & factor reduction。实际中最常用的模型大概是含有shared structure和shared parameters的模型，比如说NLP里面的sequence model，举一个做Named entity recognition的例子，联系着latent变量的参数（type of entity），是independent of the place and the sequence的(假设position in the sequence与参数无关)，这样的好处是：
reuse of parameters allow us to apply the same model to sequences of varying length Template models are languages that specify how variables inherit dependency model from template(representation that allows us to solve multiple problems using the same exact model)

        Factor Graph 是概率图的一种，概率图有很多种，最常见的就是Bayesian Network (贝叶斯网络)和Markov Random Fields(马尔可夫随机场)。在概率图中，求某个变量的边缘分布是常见的问题。这问题有很多求解方法，其中之一就是可以把Bayesian Network和Markov Random Fields 转换成Facor Graph，然后用sum-product算法求解。基于Factor Graph可以用sum-product算法可以高效的求各个变量的边缘分布。sum-product算法，也叫belief propagation，有两种消息，一种是变量(Variable)到函数(Function)的消息(就是方块到圆的消息)：m：x→f，另外一种是函数(Function)到变量(Variable)的消息：m：f→x。所谓factor graph(因子图)，就是对函数因子分解的表示图，一般内含两种节点，变量节点和函数节点。我们知道，一个全局函数能够分解为多个局部函数的积，因式分解就行了，这些局部函数和对应的变量就能体现在因子图上。