机器学习入门课程(4) —— 隐马尔可夫模型/ CRF条件随机场/ LDA主题模型 以及 生成模型V.s判别模型

一、 隐马尔可夫模型

• 隐马尔可夫模型是一个关于时序的概率模型，描述由隐马尔科夫链随机生成观测序列的过程，属于生成模型。
• 隐马尔科夫模型在语音识别、自然语言处理、生物信息等领域有着广泛的应用。

马尔可夫模型的两个假设

• 齐次马尔可夫假设：假设隐藏的马尔科夫链在任意时刻t的状态只依赖于前一时刻的状态，与其它时刻的状态及观测无关，也与时刻t无关。
• 观测独立性假设：假设任意时刻的观测只依赖于该时刻的马尔科夫链的状态，与其他观测及状态无关。

隐马尔可夫模型 λ = (A, B, Π) ，状态转移概率矩阵A，初始状态概率向量Π，确定了隐藏的马尔科夫链，生成不可观测的状态序列。观测概率矩阵B确定了如何从状态生成观测，与状态序列综合确定了如何产生观测序列。

隐马尔可夫模型的三个基本问题

• 概率计算问题：给定模型 λ = (A, B, Π) 和观测序列O = (o₁, o₂,…,o_T)，计算在模型 λ 下观测序列 O 出现的概率 P = (O|λ)；
• 学习问题：已知观测序列O = (o₁, o₂,…,o_T)，估计模型参数 λ = (A, B, Π) ，使得在该模型下观测序列概率 P = (O|λ) P = (O|λ)最大；
• 预测问题