【机器学习】 概率无向图模型

【概率图模型】
概率图模型是一种用图结构来描述多元随机变量之间条件独立关系的概率模型，简称图模型(GM)。图中每个节点表示一个随机变量或一组随机变量，节点之间的边表示这些变量之间的概率关系。

概率图模型分为：

• 有向图模型：使用有向无环图表示变量间的关系
• 无向图模型：使用无向图表示变量间的关系

【概率无向图模型】

概率无向图模型满足以下几个性质：



【因子分解】
团：无向图G中任何两个结点均有边连接的结点子集。
最大团：若C是无向图G的一个团，并且不能再加进任何一个G的结点使其成为一个更大的团，则称此C为最大团。
因子分解：将概率无向图模型的联合概率分布表示为其上最大团上的随机变量的函数乘积形式的操作。



【对数线性模型】

对数线性模型分为：逻辑斯蒂回归模型和最大熵模型。

【逻辑斯蒂回归模型】
主要思想：根据现有数据对分类边界线建立回归公式，以此分类。
逻辑斯蒂回归模型：在线性回归模型的基础上，使用Sigmoid函数，将线性模型的结果压缩到[0,1]之间，使其拥有概率意义，它可以将任意输入映射到[0,1]区间内，实现由值到概率的转换。逻辑斯蒂回归模型属于概率判别式模型，是一种线性分类算法。
优点：直接对分类的可能性建模，无需事先假设数据分布，避免了假设分布不准确带来的问题。由于它是针对分类的可能性进行建模，不仅能预测出类别，还可得到属于该类别的概率。






【最大熵模型】
在学习概率模型时，所有可能的模型中熵最大的模型是最好的模型。若概率模型需要满足一些约束，则在满足已知约束的条件集合中选择熵最大的模型。
最大熵原理：在已知部分知识的前提下，关于未知分布最合理的推断就是符合已知知识最不确定或最随机的推断，这是可以做出的不偏不倚的选择。最大熵原理是对一个随机事件的概率分布进行预测时，预测应当满足全部已知的约束，而对未知的情况不做任何主观假设。在这种情况下，概率分布最均匀，预测的风险最小，因此得到的概率分布的熵最大。
最大熵原理的前提：需满足一定约束；不做任何假设，在约束外的事件发生概率为等概率。


在最大熵模型中，要想经验函数与特征函数相结合能代表概率模型需要满足的约束，只需使两个期望相等。



优点：信息熵极大，准确率较高；灵活设置约束条件，调整对未知数据的适应度和对已知数据的拟合程度 。
缺点：迭代过程计算量大，实际应用比较难。

【条件随机场】
条件随机场是一种条件概率分布模型P(Y|X)，表示的是给定一组输入随机变量的条件下，另一组输出随机变量的马尔可夫随机场，是一种直接建模条件概率的判别式无向图模型。




条件随机场需要解决三个关键问题：

1. 特征函数的选择：特征函数的选择直接关系模型的性能；
2. 参数估计：从已经标注好的训练数据集学习条件随机场模型的参数，可以用极大似然估计和迭代缩放算法(通过更新规则来更新模型中的参数，通过迭代改善联合或条件概率模型分布，每次迭代的过程中，参数在原来的基础上，增加一个增量)来估计参数；
   
3. 模型推断：在给定条件随机场参数的情况下，预测出最可能的壮体啊序列。

参考资料：机器学习-北京理工大学-中国大学mooc