机器学习算法笔记(4):条件随机场

机器学习算法笔记(4):条件随机场

1.马尔可夫链：通俗理解马尔可夫链
假设一个随机过程中，$t_n$ 时刻的状态$x_n$的条件发布，只与其前一状态$x_{n-1}$ 相关，即：

$$P(x_n|x_1,x_2,...,x_{n-1})=P(x_n|x_{n-1})$$
通俗地说就是，未来的分布只取决于当前状态，而与过去无关。
2.隐马尔科夫算法
一种对未知参数的马尔科夫链进行建模的生成模型
3.条件随机场
如何轻松愉快地理解条件随机场（CRF）？

条件随机场是逻辑回归的序列化版本。逻辑回归是用于分类的对数线性模型，条件随机场是用于序列化标注的对数线性模型。

条件随机场包含概率计算问题、学习问题和预测问题三个问题:

1. 概率计算问题：已知模型的所有参数，计算观测序列 𝑌 出现的概率，常用方法：前向和后 向算法；
2. 学习问题：已知观测序列 𝑌 ，求解使得该观测序列概率最大的模型参数，包括隐状态序列、隐状态间的转移概率分布和从隐状态到观测状态的概率分布，常用方法：Baum-Wehch 算法；
3. 预测问题：一直模型所有参数和观测序列 𝑌 ，计算最可能的隐状态序列 𝑋 ,常用算法：维特比算法。