贝叶斯网络--HMM

背景介绍：

贝叶斯相关的理论很多，首先要从贝叶斯观点说起，贝叶斯观点就是用贝叶斯方法来进行贝叶斯推理，贝叶斯方法（即对应的贝叶斯派）与频率派是统计学的两大学派。贝叶斯方法认为参数是服从分布的变量，通过先验分布获取参数来计算后验概率，从贝叶斯的条件概率公式可以看出这点假设。之后在贝叶斯公式基础上有朴素贝叶斯和贝叶斯网络（概率图模型），与此相关的模型很多，如HMM（隐马尔科夫模型，有向概率图）、RBM、CRF（条件随机场，无向概率图,EBM\VGM）、维特比算法。

有向概率图模型（经常推断）：
根据概率图写出联合分布，从叶节点开始，只要有父节点就写上其条件概率依次向上写
分解分布：

应用一：朴素贝叶斯
应用二：马尔科夫模型
应用三：HMM

扩展：LSTM/RNN（有向图）、DRBM（Hinton06年最早在Science上发的深度模型，可以看做是深度学习模型的起源了，后来11/12年将深度网络的使用放在CNN上，ImageNet获得成功，深度学习渐渐被认可），可见最早的深度学习其实应该来源自概率图模型的使用上。