贝叶斯网

这里是这几天一直在忙数据的筛选和工程上的一些脚本编写、跑实验啥的，没有上来看看。今天把之前学习的贝叶斯网翻出来，记个号，到时候仔看看。因为感觉贝叶斯网这种基础数据模型多掌握一些没有坏处，自己都存到脑子里面比较好。

开头需要精炼地解决以下问题

• 概率图模型（Probabilistic Graphical Models，PGM）

PGM是概率论和图论的结合产物
PGM是一种能够构建和利用复杂系统概率模型的通用框架。复杂系统的一个特点是存在多个相互关联的部分，并且许多部分与推理任务有直接或间接的关系。PGM基于陈述性表示，以计算机可读的形式，编码表示我们关于系统如何工作的知识。

• PGM能够干什么

针对推理问题：如何利用已存在的/观察到的信息去获得结论/未知的信息，一种方法是利用概率论来解决。
在给定若干随机变量的值的情况下，利用后验概率来评估其他变量的取值情况，给出各种取值的可能性。这些随机变量（X1,…,Xn）的可能取值形成一个概率空间，我们可以选择联合分布作为模型来描述此空间。如例1.1[Page3]:

面对大规模复杂问题，使用联合分布进行显式的记录会出现数据量多、数据稀疏、获取困难等问题[Page45]。因此我们要采用一种紧凑的方式来描述概率空间。紧凑表示概率空间的实现主要依赖于以下两项：
1.链式法则和条件独立，针对随机变量集合X={X1,…,Xn}，基于链式法则有以下公式：
P（X1,…,Xn）= P（X1）P（X2| X1）…P（Xn| X1…Xn-1）
即，联合分布可以因子分解为n个条件或先验概率（因子）的乘积。对联合分布的描述变为对各个因子的描述，每个因子表示一个变量在网络中给定父节点时的条件概率，用条件表示比联合分布的显示表示更加自然，但目前来看不会变得紧凑。
在此基础上考虑条件独立，假设变量Xn在X1给定的情况下独立于其他变量X-1-n={X1,…,Xn}-{X1, Xn}:
(Xn⊥X-1-n | X1)
此时的联合分布为：
P（X1,…,Xn）= P（X1）P（X2| X1）…P（Xn| X1）
此时描述因子的参数就减少了，变得紧凑了一点（定义3.1）[Page45-50] 。
2.图结构，采用图的形式一方面更加直观地反映变量之间的联系，而且后续可以基于图做进一步的分析。
使用图模型可以清楚地表示条件概率公式中条件和结果之间的关系。就贝叶斯网而言，随机变量X1、Xn分别对应网络中的两个节点，概率模型中独立性的方向用从X1到Xn的一条边表示。
概率空间用概率模型描述，概率模型可以是显示的联合分布，也可以是概率图模型。一种能够构建和利用复杂系统概率模型的通用框架。复杂系统的一个特点是存在多个相互关联的部分，并且许多部分与推理任务有直接或间接的关系[Page2]。

• 什么是贝叶斯网络
  一种有向无圈图，是一种组合数据结构[Page45]
• 用来做什么/有何意义/用来解决什么问题
  同PGM：表示概率空间，基于概率空间和观测到的信息做可能结果的推理预测，结合专家的知识和累积的数据来学习/获取概率空间。
• 有向图与无向图相比又是有哪些
  目前没有了解无向图，没有做过对比。

围绕着贝叶斯网络学习其相关内容：网络的表示、基于网络的推理以及网络的学习。本文档首先总结表示部分的学习——用贝叶斯网描述概率空间。

1. 贝叶斯网基本定义

贝叶斯网（Bayesian Networks，BN）由有向无圈图（DAG）g以及一系列局部概率模型（local probability model），即图中各个节点的局部条件概率分布（CPD）组成。g中节点为论域/概率空间中的随机变量；边代表了一个节点与另一个节点的直接关联；CPD用于各个变量对其父节点的依赖，在表示部分，还没有体现出贝叶斯网的“贝叶斯”。