这里是这几天一直在忙数据的筛选和工程上的一些脚本编写、跑实验啥的,没有上来看看。今天把之前学习的贝叶斯网翻出来,记个号,到时候仔看看。因为感觉贝叶斯网这种基础数据模型多掌握一些没有坏处,自己都存到脑子里面比较好。
开头需要精炼地解决以下问题
- 概率图模型(Probabilistic Graphical Models,PGM)
PGM是概率论和图论的结合产物
PGM是一种能够构建和利用复杂系统概率模型的通用框架。复杂系统的一个特点是存在多个相互关联的部分,并且许多部分与推理任务有直接或间接的关系。PGM基于陈述性表示,以计算机可读的形式,编码表示我们关于系统如何工作的知识。
- PGM能够干什么
针对推理问题:如何利用已存在的/观察到的信息去获得结论/未知的信息,一种方法是利用概率论来解决。
在给定若干随机变量的值的情况下,利用后验概率来评估其他变量的取值情况,给出各种取值的可能性。这些随机变量(X1,…,Xn)的可能取值形成一个概率空间,我们可以选择联合分布作为模型来描述此空间。如例1.1[Page3]:
面对大规模复杂问题,使用联合分布进行显式的记录会出现数据量多、数据稀疏、获取困难等问题[Page45]。因此我们要采用一种紧凑的方式来描述概率空间。紧凑表示概率空间的实现主要依赖于以下两项:
1.链式法则和条件独立,针对随机变量集合X={X1,…,Xn},基于链式法则有以下公式:
P(X1,…,Xn)= P(X1)P(X2| X1)…P(Xn| X1…Xn-1)
即,联合分布可以因子分解为n个条件或先验概率(因子)的乘积。对联合分布的描述变为对各个因子的描述,每个因子表示一个变量在网络中给定父节点时的条件概率,用条件表示比联合分布的显示表示更加自然,但目前来看不会变得紧凑。
在此基础上考虑条件独立,假设变量Xn在X1给定的情况下独立于其他变量X-1-n={X1,…,Xn}-{X1, Xn}:
(Xn⊥X-1-n | X1)
此时的联合分布为:
P(X1,…,Xn)= P(X1)P(X2| X1)…P(Xn| X1)
此时描述因子的参数就减少了,变得紧凑了一点(定义3.1)[Page45-50] 。
2.图结构,采用图的形式一方面更加直观地反映变量之间的联系,而且后续可以基于图做进一步的分析。
使用图模型可以清楚地表示条件概率公式中条件和结果之间的关系。就贝叶斯网而言,随机变量X1、Xn分别对应网络中的两个节点,概率模型中独立性的方向用从X1到Xn的一条边表示。
概率空间用概率模型描述,概率模型可以是显示的联合分布,也可以是概率图模型。一种能够构建和利用复杂系统概率模型的通用框架。复杂系统的一个特点是存在多个相互关联的部分,并且许多部分与推理任务有直接或间接的关系[Page2]。
- 什么是贝叶斯网络
一种有向无圈图,是一种组合数据结构[Page45] - 用来做什么/有何意义/用来解决什么问题
同PGM:表示概率空间,基于概率空间和观测到的信息做可能结果的推理预测,结合专家的知识和累积的数据来学习/获取概率空间。 - 有向图与无向图相比又是有哪些
目前没有了解无向图,没有做过对比。
围绕着贝叶斯网络学习其相关内容:网络的表示、基于网络的推理以及网络的学习。本文档首先总结表示部分的学习——用贝叶斯网描述概率空间。
1. 贝叶斯网基本定义
贝叶斯网(Bayesian Networks,BN)由有向无圈图(DAG)g以及一系列局部概率模型(local probability model),即图中各个节点的局部条件概率分布(CPD)组成。g中节点为论域/概率空间中的随机变量;边代表了一个节点与另一个节点的直接关联;CPD用于各个变量对其父节点的依赖,在表示部分,还没有体现出贝叶斯网的“贝叶斯”。