【贝叶斯分类4】贝叶斯网

1. 半朴素贝叶斯分类器知识回顾

  半朴素贝叶斯分类器的原理就是适当考虑一部分属性间的依赖信息。考虑策略最常用的是独依赖估计，有超夫独依赖估计（SPODE）,平均独依赖估计（AODE）,树增广朴素贝叶斯（TAN）。
  
  超夫独依赖估计就是直接让所有属性都依赖同一个属性，这个被其他属性共同依赖的叫“超夫”，超夫选择不是一直是它，可以用交叉验证的方法，我们选择最好训练效果的模型。
  
  平均独依赖估计是把每个属性当作一个SPODE模型，但$P(c)$ 变为了$P(c,x_i)$，但这个模型要求训练集足够大，定义一个阈值$m^{\prime }$，要求$|D_{x_i}|\ge m^{\prime }$。
  
  树增广朴素贝叶斯，基于最大带权生成树算法，算两两属性间的条件互信息，$I(x_i,x_j|y)$ 越大，代表依赖越强。

2. 贝叶斯网学习笔记

2.1 引言

  贝叶斯网亦称“信念网”，它借助有向无环图来刻画属性之间的依赖关系，并使用条件概率表来描述属性的联合概率分布，是一种概率图模型，帮助人们将概率统计应用于复杂领域，进行不确定推理和数值分析的工具。

  贝叶斯网络是从条件概率的角度描述变量之间依赖关系的有向无环图（DAG）。揭示变量之间的依赖关系，也作因果关系（是贝叶斯网的特点），它模拟了人类推理过程中因果关系的不确定性。

2.2 知识卡片

	1. 贝叶斯网络：Bayesian Network，简称BN
	2. 信念网：belief network
	3. 条件概率表：Conditional Probability Table，简称CPT
	4. 因果关系
	5. 有向无环图：Directed Acyclic Graph，简称DAG

2.3 概率图模型(PGM)

2.3.1 引言

  概率图模型（Probabilistic Graphical Model），结合概率论和图论，是指一种用图结构来描述多元随机变量之间条件独立性的概率模型（注意条件独立性），从而给研究高维空间的概率模型带来了很大的便捷性。分为贝叶斯网络和马尔可夫网络两大类。
  
  我们希望能够挖掘隐含在数据中的知识，概率图构建了这样一个图。概率图直观地表示随机变量间条件独立性的关系。

2.3.2 为什么引入概率图?

  高阶变量（k 维随机变量），$Y=[X_1,X_2,...,X_k]$，假设每个随机变量为离散型，取值有$m$ 个。那么在不作任何独立性条件下，则需要$m^k-1$ 个参数才能表示其概率分布，参数是指数级的。
  
  而一种有效减少参数量的方法就是独立性假设。首先将k维随机变量的联合概率分解为k个条件概率的乘积，那么$P(y)={\prod }_{k=1}^{k}P(x_k|x_1,x_2,...,x_{k-1})$。如果两个变量独立，则条件概率的条件将减少。
  
  例：已知$X_1$ 时，$X_2$ 和$X_3$ 独立，$X_1$ 和$X_4$ 独立. 则$P(x_2|x_1,x_3)=P(x_2|x_1)$，$P(x_3|x_1,x_2)=P(x_3|x_1)$。则联合概率 P ( y ) = P ( x 1 ) P ( x 2 ∣ x 1 ) P ( x 3 ∣ x 1 ) P ( x 4 ∣ x 2 , x 3 ) P(y)=P(x_1)P(x_2|x_1)P(x_3|x_1)P(x_4|x_2,x_3) P(y)=P(x1​)P(x2​∣x1​)P(x