《统计学习方法》—— 11. 条件随机场

本文主要是在阅读过程中对本书的一些概念摘录，包括一些个人的理解，主要是思想理解不涉及到复杂的公式推导。会不定期更新，若有不准确的地方，欢迎留言指正交流

本文完整代码 github 地址：https://github.com/anlongstory/awsome-ML-DL-leaning/lihang-reading_notes（欢迎 Star ?）

第 11 章 条件随机场

条件随机场（Conditional random field,CRF） 是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场。

马尔科夫随机场

马尔科夫随机场又名 概率无向图模型，是一个可以由无向图表示的联合概率分布。 概率图就是用图表示概率分布，其中用图的 节点(node) 表示 随机变量，用 边(edge) 表示随机变量之间的 概率依赖关系。 由定义的无向图表示的随机变量之间应该满足，成对马尔可夫性，局部马尔科夫性，全局马尔科夫性。

成对马尔科夫性： u 和 v 是无向图中任意两个没有边连接的点(即随机变量)，然后在给定其他随机变量的条件下，随机变量 u 和 v 是条件独立的。

局部马尔科夫性： v 是无向图中任意一点，W 为所有与 v 有连接的随机变量组，O 表示除 v 和 W 以外的所有随机变量，在给定 W 的条件下， v 和 O 是独立的。

全局马尔科夫性： 节点结合 A ，B 是在无向图中被节点集合 C 分开的任意节点集合， 在给定随机变量组 C 的前提下， A 和 B 是条件独立的。

成对，局部，全局马尔可夫性是等价的。

所有设联合概率分布 P(Y) ，由无向图 G 表示，并且 P(Y) 满足成对、局部或全局马尔可夫性，就称联合概率分布为 概率无向图模型 或 马尔可夫随机场。

也可分为 3 个基本问题：

• a) 概率计算问题
• b) 学习问题
• c）预测问题

团，最大团

无向图 G 中任何两个节点均有边连接的节点子集称为团。若 C 是无向图 G 中的一个团，并且不能再加进任何一个 G 的节点使其称为一个更大的团，就称 C 为最大团。

包含2个节点的团有 5 个：{Y₁,Y₂}，{Y₂,Y₃}，{Y₃,Y₄}，{Y₂,Y₄}，{Y₁,Y₃}

有 2 个最大团：{Y₁,Y₂,Y₃}，{Y₂,Y₃,Y₄}

条件随机场（或概率无向图模型）的联合概率分布可以分解为 无向图最大团上的正值函数的乘积 的形式。

CRF 的概率计算问题

是给定条件随机场 P(Y|X),输入序列x 和输出序列 y ，计算条件概率 P(Y_i=y_i|x), P(Y_i-1=y_i-1，Y_i=y_i|x) 以及相应的数学期望的问题。

主要也是 前向——后向算法

CRF 的学习算法

给定训练数据集估计条件随机场模型参数的问题。

主要包括：极大似然估计，正则化的极大似然估计，具体的优化算法有改进的迭代尺度法 IIS ，梯度下降法以及拟牛顿法。

CRF 的预测算法

给定条件随机场 P(Y|X) 和输入序列（观测序列）x,求条件概率最大的输出序列（标记序列）y ，这也是其重要应用——标注问题。

主要方法有：维特比算法

相关阅读：

《统计学习方法》—— 1. 统计学习方法概论（Python实现）
《统计学习方法》—— 2. 感知器（Python实现）
《统计学习方法》—— 3. K近邻法（Python实现）
《统计学习方法》—— 4. 朴素贝叶斯（Python实现）
《统计学习方法》—— 5. 决策树（Python实现）
《统计学习方法》—— 6. 逻辑斯特回归与最大熵模型（Python实现）
《统计学习方法》—— 7. 支持向量机（Python实现）
《统计学习方法》—— 8. 提升方法 （Python实现）
《统计学习方法》—— 9. EM 算法（Python实现）
《统计学习方法》——10. 隐马尔可夫模型（Python实现）