概率图模型 python_NLP系列学习:概率图模型简述

在之前的一段时间里,忙于周围的乱七八糟的事情,在更新了上一期之后自己也很久没有更新,自己也想,如果自己没有用一种良好的心态去回忆总结自己所学的知识,即使花费再多的时间也都只是徒劳无功的,而这一段时间以来,我读了一些关于概率图的知识去为接下来的自然语言处理知识做了一个铺垫,希望用这一篇文章来记录下自己的学习成果,而自己在这里的参考资料是之前的博客推荐的书,另外加上一些博客去加以理解,一些自己不足之处请大家多多指教.

1:什么是概率图模型?

大家在高中的时候一定已经学过概率,而我们在大学的时候也初步学习了这一门课程,而我们学习概率的主要目的是因为我们生产实践中不确定的事情实在是太多了,而这样的不确定的事情里边其实往往隐藏着确定的知识,信息,而我们的概率就是这样应运而生的,而人们的需求总是多种多样的,满满的演化成各种各样的模型,比如模型识别,贝叶斯系列等等.而概率图模型其实就是来解决这一系列问题的工具之一,这是应用了概率和图这两种数学工具来建立的模型.

2:引入概率图模型有什么好处?

一般的问题我们都可以用概率模型去很好的解决,那么为什么又要在概率的基础上加一个图呢?在这里我们引入图结构其实是因为图结构可以将概率模型的结构可视化,应用图这是一种直观,简单的方式,可以简单的描述随机变量之间的独立性的性质,最重要的是可以将一份复杂的概率模型转化为一些简单的模型的组合,这有点类似于我们的面向对象的思想.在机器学习中,图模型很广泛的应用和分析各种学习算法,其实说明白,机器学习模型都可以看做是概率模型,把学习任务归结于计算输入和输出的条件概率分布,当我们引入图工具之后,这样就可以从一个新的角度来解释机器学习模型了,并且相对来说还比较简单.

当然，我们也可以从另一个角度考虑其合理性。我们的目的是从获取到的量中得到我们要的信息，模型是相互之间约束关系的表示，而数据的处理过程中运用到了概率理论。而图恰恰将这两者之间联系起来了，起到了一个很好的表示作用。

3:图的结构

大家学过离散数学都知道,一个图是由节点和节点之间的边组成的,在概率图模型里,每一个节点其实都可以表示为一个或者一组随机变量,而这些边可以看成是这些随机变量之间的概率依存关系,在离散数学里我们学过有向图和无向图,而那些图和我们的图其实是一样的,只不过我们把这个有向的图模型叫做贝叶斯网络,而贝叶斯的有向无环图来表示因果关系,而无向图模型称为马尔科夫随机场,无向图表示变量间的相互作用,这些结构的区别导致了他们在建模和推断方面有了一些微妙的差别,这些我们将接下来一一介绍.

有向图如下:(左图贝叶斯模型,右图马尔科夫模型)

4:概率的一些计算

涉及到概率计算,