《贝叶斯网引论》之一：概率论基础

本章主要是理清概率论中的一些概念，包括：

1. 基本概念：

• 样本空间：随机实验的所有可能结果组成的空间
• 样本点/原子事件：随机实验的任一可能结果
• 事件：样本空间的子集，原子事件的集合
• 概率测度：给样本空间中的每一事件赋予一个0~1之间的数值（即概率），具有规范性、非负性和有限可加性
• 随机变量：定义在样本空间上的函数，取值随实验结果而定，随机变量的所有可能取值的集合称为值域/状态空间，即P(X)
• 概率函数：在样本空间中，一次随机试验的结果在令随机变量X取值为x的所有可能结果的集合中的概率，且令x在状态空间上变动，即P(X=x)

2. 概率的三种解释：

• 古典解释：前提是所有可能结果出现的可能性相等
• 频率解释：前提是实验可以在同等条件下无限次重复
• 主观解释：即我们认为的主观概率

3. 多元概率分布：

• 联合概率分布，经常可以被表示成一张表
• 边缘概率分布，经常出现在联合概率分布表的边缘

令 X = { X 1 , X 2 , . . . , X n } X=\{X_1,X_2,...,X_n\} X={X1​,X2​,...,Xn​}，$Y$是$X$的真子集，$Z=X$ \ $Y$，则边缘分布$P(X_1,X_2,...,X_n)$与联合分布$P(Y)$的关系为：$P(Y)={\sum }_{Z}P(X_1,X_2,...,X_n)$

• 条件概率分布，注意链式规则

注：联合概率分布表所有值之和为1，条件概率分布表每一行所有值之和为1，即需要对每一行做规范化处理

4. 边缘独立与条件独立

• 边缘独立：$P(X,Y)=P(X)P(Y)$
• 条件独立：$P(X,Y|Z)=P(X|Z)P(Y|Z)$

注：条件独立并不意味着在Z未知的时候，X与Y相互独立，可能只是Y包含的关于X的信息也包含在Z中

5. 贝叶斯定理
6. 信息论基础

• Jensen不等式：其实就是凹函数定义的推广，$f({\sum }_{i=1}^n{p}_i{x}_i)>={\sum }_{i=1}^n{p}_{i}f(x_i)$

logx，-xlogx，-xlogx-(1-x)log(1-x)都是常见的凹函数

• 熵：$H(X)=-{\sum }_{X}P(X)logP(X)$

• 联合熵：$H(X,Y)=-{\sum }_{X,Y}P(X,Y)logP(X,Y)$

• 条件熵：

  • $H(X|Y=y)=-{\sum }_{X}P(X|Y=y)logP(X|Y=y)$，表示已知Y=y后，X的不确定性
  • $H(X|Y)={\sum }_{y}P(Y=y)H(X|Y=y)=-{\sum }_{X,Y}P(X,Y)logP(X|Y)$，表示未知Y的取值时，对观测到Y的取值后X剩余的不确定性的期望

  注：$H(X|Y=y)$可能比$H(X)$大，$H(X|Y)$肯定小于$H(X)$

  熵的链式规则：$H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)$

• 互信息：$I(X;Y)=H(X)-H(X|Y)={\sum }_{X,Y}P(X,Y)log\frac{P(X,Y)}{P(X)P(Y)}$

互信息的对称性：$I(X;Y)=I(Y;X)$

结合韦恩图理解熵，联合熵，条件熵，互信息非常容易

互信息其实就是联合概率和边缘概率乘积的相对熵

• 相对熵/KL散度：$KL(P,Q)={\sum }_{X}P(X)log\frac{P(X)}{Q(X)}$，可以简单理解相对熵是衡量概率分布P(X)和Q(X)之间的距离，因此相对熵的取值非负，但它又不是简单的距离，因为其不具有对称性