概率图秒杀hmm和贝叶斯网络

概率图

概率图模型是图灵奖获得者Pearl开发出来的用图来表示变量概率依赖关系的理论。概率图模型理论分为概率图模型表示理论，概率图模型推理理论和概率图模型学习理论。概率图主要用于快速的计算带有关系的变量图关系。变量要是之间没关系，即独立，那么他们的联合概率就他们的各自相乘！

基本的概率图模型包括贝叶斯网络、马尔可夫网络和隐马尔可夫网络。

 

 

写他们的联合概率就是看每一个节点是否有箭头输入，不管输出，输入表示的是条件概率！因此则上面的联合概率为：P(x1,x2,x3,x4)=P(x1)P(x3|x1)P(x2)P(x4|x2,x3)，因此不需要列出所有的情况！只需要列出上面的四个乘式的情况就可以，而事实上四个式子列出来的情况都要比左边的联合概率列出的所有的情况来得少！下面贝叶斯例子就有所体现。

1、概率图在贝叶斯上的应用

用于快速的得到联合概率的计算，同时也可以达到减少联合概率的计算存储量。将样本存储联合概率的指数数量级立刻下降下来。以下面例子来看，各个变量之间的关系如下图之间指向关系。只要能够得到变量的联合概率那么整个图的所有关系都可以得知，根据概率图法则就可以很快的写出下面变量之间关系的联合概率的恒等式，也可以说是分解式子，也有压缩数据的作用。

由概率图的计算法则我们很容易得到联合概率的分解式子。红色方框里面是联合概率所有情况。而右边是各个分解式子的情况，实际需要存储的是1+2+2+4=9个情况就可以，而不需要记录之前2^4=16种情况。

 

2、概率图在HMM上的应用：

马尔科夫假设，随机过程中各个状态S_t的概率分布，只与它的前一个状态S_t-1有关即得到关系式：

P(S_t|S₁,S₂,S₃.....,S_t-1)=P(S_t|S_t-1)。马尔科夫链一定会收敛于一个稳态，并有特征值为1其他特征值小于1，设稳态为a，而概率转移矩阵为A，那么最后一定会有aA=a，最后的状态经过转移矩阵之后变化不大，近似相等。转移矩阵存在是状态之间关系以及概率。这个时候发现特征值为1。应用于搜索引擎里面的网页排序，机器翻译，语音识别，以金融行业，非线性预测股市！

 

隐含马尔科夫是关于已知一系列观测值，估计背后当前的隐含态！如下图，Y值是输出值也就是观测值，而x是隐含态，一个输出态对应一个隐含态。其实对于我们只要关注的是如果我们知道整个图的联合概率，那么整个图的信息我们都可以得到。应用在金融行业！

根据概率图计算规则得到:

P(x1,x2,x3,y1,y2,y3)=P(x1)P(y1|x1)P(x2|x1)P(y2|x2)P(x3|x2)P(y3|x3)

总结：

马尔科夫主要是应用在预测上面，特别是非线性预测！HMM适用于小型数据，而LSTM和RNN可以适用于大型数据！一般设计的预测先在HMM测试下，如果HMM效果都不好了，那么没必要动用LSTM和RNN了。