贝叶斯网络：概率图模型中的条件依赖推理引擎

原创于 2025-07-07 23:43:47 发布 · 1k 阅读

25 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #机器学习 #概率 #贝叶斯 #贝叶斯网络 #网络 #MLE

人工智能同时被 3 个专栏收录

246 篇文章

订阅专栏

OTHER

217 篇文章

订阅专栏

Python

216 篇文章

订阅专栏

结构化表示变量间因果关系的概率框架

本文由「大千AI助手」原创发布，专注用真话讲AI，回归技术本质。拒绝神话或妖魔化。搜索「大千AI助手」关注我，一起撕掉过度包装，学习真实的AI技术！

一、核心定义与图结构

贝叶斯网络（Bayesian Network） 是一种基于有向无环图（DAG）的概率图模型，其组成：

节点：随机变量 $X_1, X_2, \dots, X_n$
有向边：变量间的条件依赖关系
条件概率表（CPT）：每个节点存储 $P(X_i \mid \text{Pa}(X_i))$ ，其中 $\text{Pa}(X_i)$ 为父节点集

联合概率分解：
$P(X_1, X_2, \dots, X_n) = \prod_{i=1}^n P(X_i \mid \text{Pa}(X_i))$
此分解由局部马尔可夫性保证：给定父节点，节点与其非后代独立。

往期文章推荐:

二、条件独立性与d-分离准则

1. 基本依赖结构

结构类型	示例	独立性
顺连	$\rightarrow B \rightarrow C$	$\perp C \mid B$
分连	$\leftarrow B \rightarrow C$	$\perp C \mid B$
汇连	$\rightarrow B \leftarrow C$	$\not\perp C$ （但 $\perp C$ 当 $B$ 未观测）

2. d-分离（d-separation）

判断节点集 $\mathbf{X}$ 和 $\mathbf{Y}$ 在给定 $\mathbf{Z}$ 时是否独立：

若 $\mathbf{Z}$ 阻断 $\mathbf{X}$ 到 $\mathbf{Y}$ 的所有路径，则 $\mathbf{X} \perp \mathbf{Y} \mid \mathbf{Z}$ 。
路径阻断规则：

顺连/分连路径：中间节点 $\in \mathbf{Z}$
汇连路径：中间节点及其后代 $\notin \mathbf{Z}$

三、推理算法

1. 精确推理

方法	原理	复杂度
变量消除法	按序边缘化无关变量	$\exp(\text{树宽}))$
联结树算法	将网络转为树结构进行消息传递	$O(\exp(\text{团大小}))$

变量消除示例：
计算 $\mid A=a)$ ：
$\mid A=a) = \frac{\sum_B P(A=a, B, C)}{\sum_{B,C} P(A=a, B, C)}$

2. 近似推理

方法	适用场景
MCMC采样	高维网络（如Gibbs采样）
变分推断	大规模实时推理

四、参数与结构学习

1. 参数学习

给定网络结构，估计CPT：

最大似然估计（MLE）：
$\hat{P}(X_i = x \mid \text{Pa}(X_i) = \mathbf{u}) = \frac{\text{count}(X_i = x, \text{Pa}(X_i) = \mathbf{u})}{\text{count}(\text{Pa}(X_i) = \mathbf{u})}$
贝叶斯估计：引入狄利克雷先验

2. 结构学习

从数据学习DAG结构：

评分搜索法：优化BIC评分 $ \text{BIC}(G) = \log P(\mathcal{D} \mid \hat{\theta}_G) - \frac{\log N}{2} \dim(G) $
约束法：通过条件独立性检验（如卡方检验）

五、实际应用案例

1. 医疗诊断系统

节点：疾病 $D$ 、症状 $\{S_1, S_2, \dots\}$ 、风险因素 $\{R_1, R_2, \dots\}$
推理：计算 $\mid S_1=1, S_2=0, R_1=1)$

2. 金融风险评估

预测： $P(\text{违约} \mid \text{收入=低, 负债=高})$
敏感性分析：识别关键风险因子

六、优势与局限性

优势	局限性
直观可视化因果关系	无法表示环状依赖（需用马尔可夫网络）
高效处理不完全数据	结构学习NP难
结合先验知识与数据	推理复杂度随节点数指数增长
支持预测与诊断双向推理	离散变量假设限制连续数据建模