概率图模型-原理与技术 第一章 引言 学习笔记

概率图模型-原理与技术 第一章 引言 学习笔记

概率图模型-原理与技术 总目录

• http://blog.csdn.net/icefire_tyh/article/details/54026071#t3

---

动机

很多任务需要人或者自动系统去推理完成。然而在推理过程中，有的任务结果是确定的，比如算出从1到100的累加和，如何最好的从家到学校。然而这门课所主要关注的，是那些具有不确定性的任务。比如从某人当前的身体状态预测他是否得了某种疾病，再比如明天会不会下雨。现实世界的不确定性从何而来？

首先，我们的观察是片面的，我们只能观测到世界的某些方面；其次，就算是被我们观测到的这部分，也很可能含有误差；而且仅仅这些有限的观测，我们也不一定能很好的建立模型去描述它；最后，某些任务本身就是不确定的，就算我们有精确地观测与建模，依然不能得到精确地推断。

黑盒里有一红一白两个一样的球，每次有放回的从里面拿出来一个，问这个球是什么颜色？就算我们已经记录前100，1000甚至更多次的结果，我们能精确推理出下一次拿出来的球是什么颜色吗?

我们要做的，就是在这些不确定性中推理出什么是可能的，而且为了得到更有意义的结论，我们还需要推理什么事是很有可能的。

概率论

概率论为我们提供了一种描述与计算框架。它将任务可能的状态划分成一组互斥且有限的可能事件，并为每个可能事件赋予一个介于0，1概率，并使所有可能事件概率之和为1。1和0代表着确定性，0代表必定不发生，所有可能事件概率之和为1即代表了，这些可能事件中，有且只有一件会发生。

概率模型

模型，即建模的产物，可以看成我们对的任务的陈述性表示(Declarative representation)。陈述性表示这个词很抽象，书上描述说，陈述性表示的一个关键特性是知识与推理的分离，借助公开课上的一幅图，可以用c++中常用的模板类vector做类比。

如图所示，领域专家为模型提供了启发，这对应着vector的基本操作，如插入，删除，查找，排序等等。模型能为一系列的任务提供解决方案，并使用相应的算法。这对应着vector这个模板中可以存放不同类型的数据，简单到整型，复杂点的如类对象。然而在提供排序操作时，vector会根据不同的类型使用不同的排序依据，这些依据来自于各个类型的特点。

那么如何理解概率模型？根据经验我们知道一个事件可能会受到许多因素的影响，这些用因素可以通过一组随机变量来刻画，每个随机变量的值定义了该因素的一个重要性质。将所有能观测到的随机变量结合起来构造这些变量所有可能取值的联合分布，就是我们所需要的概率模型。我们可以根据这个模型推断出在某些观测值下事件发生的可能性。

概率图模型

概率模型似乎已经解决了我们上面提到的问题，为什么还要概率图模型？
概率图模型把基于图的表示作为高维空间上紧凑编码复杂分布的基础。高维空间，即许多随机变量的联合分布，这是一个非常松散的形式，需要的参数多达指数级，虽然它的查询能力很强大，但是保存这样一个联合分布几乎是不可能的事情。图模型为一种“紧凑编码”提供思路，即随机变量之间独立关系。

随机变量之间独立关系使得联合分布可以拆分成数个小的条件分布，也就是书中讲的因子分解。这样大大减少了参数的个数，使得其结构更加紧凑，但是，我们所设计出来的独立关系真的是正确的吗，这个并不能保证。这好比图的两种保存形式，矩阵形式虽然查询方便，但是占用的空间很大；按边存虽然节约空间，但是查询起来麻烦。