贝叶斯信念网络简介以及算法整理笔记

1. 这几天在写BayesWipe，写到条件概率表（CPT，Conditional Probability Table）的时候，感觉对贝叶斯网络的参数学习还是有些不清楚，因此想整理一下贝叶斯信念网络（BBN，Bayesian Belief Network）的一些概念，包括一些方法的整理。
   1. 参照一份PPT：https://wenku.baidu.com/view/83ed4295b90d6c85ed3ac6a5.html
   2. 不知道算不算原创，不过都是我手打下来的
2. 贝叶斯网络简介
   1. 概率图模型的关系（包含关系）：
      1. 概率模型
         1. 图模型
            1. 有向图模型（贝叶斯网络）
               1. Alarm network
               2. State-space models
               3. Naive Bayes Classifier 朴素贝叶斯分类器
               4. PCA/ICA 降维？
               5. HMM 隐马尔可夫模型
            2. 无向图模型（Markov网络）
               1. Markov随机场
               2. Boltzmann Machine
               3. Ising model
               4. Max-ent model
               5. Log-linear models
               6. 。。只听说过MRF，可以用Markov Logic Network作为模板生成
   2. 基本思路
      1. 贝叶斯网络是为了处理人工智能领域研究中的不确定性而发展起来的。
      2. 它将概率统计应用于复杂领域进行不确定性推理和数据分析的工具。
      3. 贝叶斯网络可以系统地描述随机变量之间的关系，然后进行概率推理。
      4. 使用概率论处理不确定性可以保证推理结果的正确性。
   3. 重要原理
      1. 链式法则：P(X1,X2,...XN) = P(X1)P(X2|X1)P(X3|X1,X2)...P(XN|X1,X2,...XN)
         1. P(A,B)=P(A)*P(B|A)记住这个就行了
         2. 也简单，知道了A发生的概率，A发生的情况下B发生的概率，相乘显然是A,B同时发生的概率咯
      2. 贝叶斯定理：P(A|B)=P(A)*P(B|A)/P(B)
         1. 基于上述公式P(A,B)=P(A)*P(B|A)=P(B)*P(A|B)
      3. 利用变量间条件独立性
         1. P(X1,X2...XN)=∏P(Xi|π (Xi))
         2. 应该是P(Xi|X1,X2,X3,X4..XN)=∏P(Xi|π (Xi))，其中π (Xi)是父节点，后验概率应该只和父节点有关。
   4. 一些问题
      1. BBN是什么
         1. 贝叶斯网络是一个基于网络的用来表达和分析包含了不确定性的模型的框架
      2. BBN用来该拿什么
         1. 辅助智能决策、数据融合，特征识别...
      3. 怎么来的
         1. 交叉了人工智能、决策分析、统计等
3. 贝叶斯网络的几个主要问题
   1. 贝叶斯网络概率推理（Probabilistic Inference）
   2. 结构学习（Structure Learning）
   3. 参数学习（Parameter Learning）
   4. 分类（Classification）
   5. 隐变量和隐式结构学习（Hidden variables and hidden structure learning）