【深度学习】贝叶斯网络、马尔可夫模型、条件随机场关系与区别

一、贝叶斯网络

1. 历史
   概率派：会成功吗？会or不会，1or0？
   贝叶斯派：成功的概率是多少？失败的概率又是多少？

首先理解贝叶斯公式 P(A|B)P(B)=P(A)P(B|A)
　
明确 P(A=0) = 0.5
P(B=0|A=0) = 0.6
P(B=0) = 0.60.5 + 0.250.6 + 0.250.6 = 0.6
则应用贝叶斯公式 P(A=0|B=0) = P(A=0)P(B=0|A=0) / P(B=0) = 0.50.6/0.6 = 0.5
　　　　　　　　　　转自https://blog.csdn.net/guotong1988/article/details/103698993

2. 符合分布
   先验分布：历史中有x和y， y的各种概率。知道【前】推【后】的概率
   后验分布：使y其中一种概率达到最大—最大后验估计（极大似然估计）。知道【后】推【前】的概率

3. 贝叶斯网络：x之前存在相关性
   （条件概率（后验概率）：事件B在事件A已经发生的条件下的发生概率，称为B的条件概率，表示为P(B|A)=( P(A|B)P(B) ) / ( P(A) )
   贝叶斯网络：P（x_1…x_k）= p（x_k|x_1…x_(k-1)）p（x_2|x_2,x_1）p（x_1）

则p（x_1,x_2,x_3,x_4,x_5,x_6,x_7）=
p（x_1）p（x_4|x_1,x_2,x_3）p（x_6|x_4,x_1,x_2,x_3）
*…………
*p（x_2）
*p（x_3）

4、朴素贝叶斯网络：x之间独立

二、马尔可夫

1. 马尔可夫链：某一时刻状态转移只依赖前一个状态p（x_(t+1)|x_1…x_(t-1),x_t） = p（x_(t+1)|x_t），
   · 马尔可夫过程（markov process）：其过程。
2. 隐马尔可夫模型（HMM）：某一时刻转移状态依赖前面所有状态（逐级下来就会有个隐藏状态）。

概率计算问题：有模型有序列，计算模型下该序列的输出概率–→前向后向算法
学习问题：有序列，通过序列估算模型参数–→极大似然估计算法、EM算法
预测问题：有模型有序列，根据模型求出对应状态序列–→贪心算法、Viterbi算法

3. 马尔可夫随机场：某一空间内状态转移只与附近空间有关

三、条件随机场（CRF）：

1、条件随机场（CRF）：某一空间内状态转移与附近空间以及该空间的所有有关（满足前面的条件即隐藏状态）。

以上三点，总结相关性：
马尔可夫模型(马尔可夫链、马尔可夫过程） ：依赖前一个
贝叶斯网络---------隐马尔可夫模型（HMM）：依赖前面所有（生成模型）
条件随机场（CRF）《= 马尔可夫随机场：加上条件《= 与附近有关（判别模型）

前向算法：给定模型（参数即前面各个序列的概率）、观测序列，求该观测序列的概率 后向算法：给定模型、观测序列，求往后一些序列的概率
极大似然估计算法：假定观测序列，去计算模型（参数即前面各个序列的概率即序列可能是什么）
EM算法：1）E计算极大似然估计值2）M最大化该极大似然估计值来计算模型。
　　　　　E根据假定观测序列Q0算出一个极大似然估算值L（即模型参数）后，然后M
　　　　　利用该值算出新的观测序列Q1，该观测序列则继续用于下一轮E的计算。
　　　　（实际中M求出的观测序列Q1也会与已知序列Q进行对比，直到Q1接近Q达到拟
　　　　合）以此循环。
贪心算法：只做出当前下的最好选择（局部最优解）如背包装重量和价值问题。 Beam search算法：只做出当前下的N个最好选择，N自定。
Viterbi算法：通过出当前下的各种选择筛选出最好的选择，与上两个算法比更稳健因为每一个选择都试过