联合分布:为了用规则化的概率推理来完成推测一个或多个变量的可能值,需要在某些随机变量的可能值空间上构造一个联合分布。
将分布“分解”为一些更小的因子,使每一个因子定义在一个更小的概率空间上。联合分布定义为这些因子的乘积。
基本概念:
两类图:有向图——贝叶斯网;无向图——马尔科夫网
与其他学科的联系:计算机科学、统计学、信息论、概率论。
核心:紧凑表示、有效的推理、因子分解、概率模型、可行性学习。
概率基础知识:
一.概率论
1. 条件概率:
表示满足的结果中满足的相对比例。
2. 链式法则和贝叶斯规则
链式法则:
贝叶斯规则:
3. 随机变量和联合分布
单个随机变量上考虑的分布是边缘分布;几个随便变量相关的分布是联合分布。
4. 独立性与条件独立
独立:
条件独立:
5. 最大后验概率(MAP)查询
寻找使P(w,e)最大的w。
6. 概率密度函数——p(x)
区间概率:概率积分
用函数表示区间上的概率关系。
联合密度函数:多个变量相关的密度函数。
7. 期望和方差
二.图
把图作为一种数据结构来表示概率分布。
1. 节点与边
图是一个包含节点集与边集的数据结构。
有向图:XiàXj
无向图:Xi—Xj
XiàXj,称Xi在图中是Xj的子节点(Chx),Xj是Xi的父节点(Pax)。Xi—Xj在图中,Xi和Xj互为邻节点(Nbx)。Xi的边界集为Pax并Nbx。
入度:所有有向边的数目。
度:图中节点中最大的入度。
2. 子图
图的表示:
导出子图:
完全子图:
3. 路径与迹
路径:
迹:
4. 圈与环
圈:K中有一条有向路径X1,X2,…,Xk,其中X1=Xk。
无圈图:一个图中不包含圈。
贝叶斯网的基本图——有向无圈图。
部分有向无圈图:有向边和无向边共存的无圈图。
环:K中存在一条迹,其X1=Xk。
单连通:图不包含任何环。
叶节点:单连通中一个节点只有一个相邻节点就是叶子节点。
多重树:单连通有向图是一棵多重树。
森林:单连通无向图是森林。
弦:环中连通两个不连贯节点的边。
弦图:任意环X1—X2—…—Xk—X1有一条弦,则此无向图为弦图。