首先引入两个概念:1.频率派(后来逐渐发展称为统计机器学习,其核心问题就是优化问题,把他的loss function定义出来,求解) 2.贝叶斯派(后来发展为概率图模型,最终是要做推断,实际上就是求后验概率,围绕拿到后验概率怎么去求解他的期望方差等。进而把他隐身为积分问题,最重要的是一个积分问题,进行数值积分(MCMC))
个人认为接下来所表述的HMM从根本上来讲他其实是一个概率图模型。概率图模型根据其有向还是无向可以进行划分,有向的叫做贝叶斯网络,无向的叫做马尔科夫随机场也可以叫做马尔可夫网络。如果将其概率图加上时间序列的化他就叫做动态模型(意思就是我们平时所说的模型,比如说高斯混合模型GMM,假入他有n个样本分别为这些x独立同分布于一个概率分布,他可能是一个混合模型,但其内部
之间没有关联是独立的同分布的,但是呢这个动态模型可以认为在普通的模型上加上了时间的序列,这个time时间可以是一个抽象的,可以是真正的时间也可以是一段话、一个句子、一个序列等)
动态模型的特点:(1)首先样本与样本之间不是独立同分布(iid)的。